NVIDIA 如何用全栈协同设计解决 AI 内存挑战，让每个字节发挥更高性能

NVIDIA 用全栈协同设计缓解 AI 内存压力：从 Blackwell Ultra 到 Vera Rubin，每 GPU 的 HBM 容量仅增约 3%，SemiAnalysis AgentX 上智能体吞吐每美元最高提升 30 倍。方案以 NVFP4 压缩模型权重和 KV cache，经 NVL72 将权重分布到最多 72 块 GPU，并用 Dynamo 与 CMX 分层存放非活跃上下文。