芯片破解英伟达推出新一代GPU Rubin CPX
芯片破解英伟达推新产品的速度,是很快的,特别是现在需要不断证明自己领先的位置。
芯片破解英伟达Rubin CPX 是 GPU 设计新的思路,采用了解耦推理的方式,把长上下文处理和生成任务拆分开来,还搭配大容量 GDDR7 显存打造了新的 GPU。
这种设计考虑到了算力和内存需求的差异,能给百万 Token 推理、长视频生成以及复杂软件开发带来更高的效率和扩展性。
Part 1
Rubin CPX 架构设计与技术特点
Rubin CPX 是专门针对大模型推理中 “上下文阶段” 和 “生成阶段” 的不同需求来设计的。
传统 GPU 靠 HBM 显存同时处理计算和带宽任务,但碰到百万 Token 的输入序列时,单一架构就显得有些吃力了。
Rubin CPX 会把长上下文处理交给专用的 GPU 来做,具体有这几个特点:
◎ 显存方面:单芯片搭载 128GB GDDR7 显存,相比 HBM 显存性价比更高,适合在机架级进行大规模部署。
◎ 算力表现:在 NVFP4 精度下能提供 30 PFLOPS 的算力,专门优化了高吞吐的上下文解析任务。
◎ 视频处理能力:内置了四个 NVENC 和 NVDEC 引擎,很适合多模态 AI 的应用场景。
◎ 系统互联:能和 Vera CPU、Rubin HBM GPU 以及 ConnectX-9 SuperNIC 配合使用,在 NVL144 CPX 机架内可以实现 12.8Tbps 的网络吞吐。
芯片破解这个新的产品采用了单芯片设计,这样能减少延迟,保持性能的一致性,但在制造和散热方面会面临一些难度。看得出来,NVIDIA 在规模训练、推理之间,一直在平衡成本和性能。
软件层面,Dynamo 平台会协调上下文处理和生成处理这两部分工作。
解耦推理需要快速的 KV 缓存传输和灵活的内存管理,而 Dynamo 平台刚好能支持这套体系。
Rubin CPX 负责处理长序列输入,Rubin GPU 负责逐 Token 生成,两者通过高速连接和统一的软件栈配合,就能完成整个任务。