Dharma-AI 预览 VocabX 词表降低推理成本

Dharma-AI 预览了即将发布的 VocabX 论文方法：按每个 token 的生成成本、而不是按出现频率，重建小模型的词表。据该公司称，在其生产环境的葡萄牙语作文评分器上，基础模型不变、只更换 tokenizer 时，实测推理成本降低 77%。 这一结果来自同一台测试机上的同一批 500 个请求：测试机配备 RTX 5090 GPU，运行 vLLM 推理服务器，成本按实测运行时间计算。Dharma-AI 称，在该评分器中，生成一个 token 的成本是读取一个 token 的 7.4 倍；但该比例会随硬件、任务、批大小、上下文长度等因素变化，可能更高。 Dharma-AI 表示，上述数字来自仍在审稿中的论文当前版本，正式发表前可能变动。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。