The Decoder· Matthias Bastian·· 5 小时前AI 评分65
百度发布 280B 参数开源基座模型 ERNIE 5.5 Flash Base
Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model
AI 导读
百度发布开源基座模型 ERNIE 5.5 Flash Base，采用 MoE 架构，总参数 280B，每次输入激活 14B。该模型在 33.5 万亿 token 上预训练，训练上下文最长 128K，设计上支持微调与推理时最多 100 万 token 上下文；此次发布不含微调或后训练，百度称后训练版本后续会推出。
来源：The Decoder · the-decoder.com