vLLM 引入推式 NIXL KV 传输降低推理延迟
热点事件观察中
vLLM 引入推式 NIXL KV 传输降低推理延迟
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
AWS 介绍 vLLM 新增的推式 NIXL KV 传输连接器，该连接器已贡献给 vLLM。它把 prefill 之后的传输协调与建立工作移出关键路径，从而降低分离式推理的首 token 时延（TTFT）和每 token 输出时延（TPOT）。 使用时需要把 prefill 和 decode 服务器都从 NixlConnector 换成 NixlPushConnector。AWS 称，该连接器适合可接受较早选定 decode 节点、并把降低 TTFT 放在优先位置的场景；如果需要双向 KV 传输，或要在 prefill 之后按负载选择 decode 实例，pull 版连接器仍更合适。 AWS 称，在 P5en+EFA 的 1P1D 部署、Qwen3-32B 上，与 pull 模式相比，推式连接器的 TTFT 最高改善 3 倍、TPOT 最高改善 30%；结果随负载和配置而异。
AI 根据报道生成 · 1 天前更新
最新进展10月20日 00:05
vLLM 推送式 NIXL KV 传输：改善分离式推理的 TTFT 与 TPOT报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning BlogvLLM 推送式 NIXL KV 传输：改善分离式推理的 TTFT 与 TPOT
开源 vLLM 引入推送式 NIXL KV 传输，将 prefill 后的协调移出关键路径，降低分离式推理的 TTFT 与 TPOT。P5en+EFA 的 1P1D 部署、Qwen3-32B 上，TTFT 最高改善 3 倍、TPOT 最高改善 30%（对比 pull 模式），该功能已贡献给 vLLM。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。