vLLM 双向 KV 传输如何降低多轮 Agent 负载的 TTFT

AWS 在 vLLM 中实现双向 KV 传输，让 prefill 节点在后续轮次复用 decode 节点保留的 KV 块，避免重复计算累积的对话上下文。在 EC2 P5en 的 1P1D 部署上，最长 prompt 下 Qwen3-32B 的 TTFT 最多降低 1.6x，zai-org/GLM-5-FP8 最多降低 3.3x。