跳到正文
热点事件持续更新

Elorian 发布 DecoyCount 计数基准

1 篇报道1 个报道来源51 分钟前更新

先了解这件事

AI 综述

Elorian 与 Mercor 联合发布 DecoyCount 视觉计数基准,用来检验语言模型是在真正计数,还是依赖视觉捷径。参评前沿模型的准确率均低于 50%,其中最好的 GPT-6 Astra 为 43.17%。 Elorian 称其 Glimpse 在 1,660 道题上得 50.48%,是唯一过半的模型;该成绩为单次运行、不带 agent 或工具框架,而论文中六个模型各取三次运行平均。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. Latent Space
    前沿模型能看穿诱饵吗?Elorian 用 DecoyCount 测试视觉推理,Glimpse 得分 50.48%

    Elorian 与 Mercor 联合发布 DecoyCount 基准,检验语言模型是真在计数还是依赖视觉捷径,参评前沿模型准确率全部低于 50%。Elorian 称其 Glimpse 在 1,660 道题上得 50.48%,是唯一过半的模型,表现最好的前沿模型 GPT-6 Astra 为 43.17%。该成绩为单次运行、不带 agent 或工具框架,论文中六个模型各取三次运行平均。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。