AWS Machine Learning Blog· Sunita Nadampalli·· 1 天前AI 评分46
vLLM 推送式 NIXL KV 传输：改善分离式推理的 TTFT 与 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
开源 vLLM 引入推送式 NIXL KV 传输，将 prefill 后的协调移出关键路径，降低分离式推理的 TTFT 与 TPOT。P5en+EFA 的 1P1D 部署、Qwen3-32B 上，TTFT 最高改善 3 倍、TPOT 最高改善 30%（对比 pull 模式），该功能已贡献给 vLLM。
来源：AWS Machine Learning Blog · aws.amazon.com