跳到正文
Latent Space· Richard MacManus·· 2 小时前AI 评分50

前沿模型能看穿诱饵吗?Elorian 用 DecoyCount 测试视觉推理,Glimpse 得分 50.48%

Can Frontier Models See Past a Decoy? Elorian Tests Visual Reasoning

AI 导读

Elorian 与 Mercor 联合发布 DecoyCount 基准,检验语言模型是真在计数还是依赖视觉捷径,参评前沿模型准确率全部低于 50%。Elorian 称其 Glimpse 在 1,660 道题上得 50.48%,是唯一过半的模型,表现最好的前沿模型 GPT-6 Astra 为 43.17%。该成绩为单次运行、不带 agent 或工具框架,论文中六个模型各取三次运行平均。

来源:Latent Space · latent.space