跳到正文
只看模型#端侧
  1. NVIDIA Blog78

    NVIDIA 发布 Nemotron 3.5 Super VL 与 Bolt 系列开源模型

    NVIDIA 发布开源模型 Nemotron 3.5 Super VL，参数规模 120B，主打多模态智能体任务，官方称其吞吐量最高可达同类模型的 5 倍。同时推出两款端侧模型 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB，前者已上线，后者将于 10 月 23 日推出。

    推荐理由：原文给出三款模型的参数规模、部署层级和开放权重，读者可据此判断本地智能体部署的选型空间。

  1. Hugging Face Blog76

    Liquid AI 发布 LFM2.5-24B-A2B 端侧推理智能体模型

    Liquid AI 发布 LFM2.5-24B-A2B，这是一个 24B 总参数、每 token 仅 2B 激活参数的推理模型，面向端侧私有智能体，会先思考再作答并调用工具。

    推荐理由：Liquid AI 公布 24B 总参数、2B 激活参数的端侧推理模型，并给出与更大 MoE 的逐项基准对比和本地部署方式。

  1. Google DeepMind72

    Google DeepMind 发布 EmbeddingGemma 2 端侧多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2，将文本、图像、音频和视频映射到统一嵌入空间，采用 Apache 2.0 许可，参数量 740M。

    推荐理由：原文给出 740M 参数、模块化编码器和端侧内存占用，读者可据此判断多模态嵌入在本地检索中的可行性。

已经到底了