Latent Space· Latent Space·· 2 天前精选AI 评分79
DeepSeek 开源生产推理框架 DeepInfer，称单集群日处理 155T tokens
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，称单集群每日处理 155T tokens、输入缓存命中率 96%，off-peak 价格下每加速器小时营收 38 美元。vLLM 团队称在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差在 6% 以内。DeepSeek 表示 KV 缓存管理与负载均衡等组件仍与内部基础设施耦合，尚未完全放出。
推荐理由
把 DeepSeek 公布的生产数字与 vLLM 复现结果对照，能看清开源推理栈在缓存与调度上的实际差距。
来源：Latent Space · latent.space