新基准 Taste-Bench 显示 AI 智能体长期决策判断力不足
研究者提出 Taste-Bench,用智能体运行轨迹中的决策分叉点构造 502 道二选一题目,衡量其在长期任务中的路径判断力。测试的 14 个模型中最好的 GPT-5.6 Sol 平均准确率 59.7%,GPT-5.5 为 59.5%,其余明显更低;当关键线索只在后续步骤才出现时,平均准确率降至 21%。
研究者提出 Taste-Bench,用智能体运行轨迹中的决策分叉点构造 502 道二选一题目,衡量其在长期任务中的路径判断力。测试的 14 个模型中最好的 GPT-5.6 Sol 平均准确率 59.7%,GPT-5.5 为 59.5%,其余明显更低;当关键线索只在后续步骤才出现时,平均准确率降至 21%。
独立 AI 安全研究员 Matilda Glynn-Henley 在 Vals AI 网站发布实验,让 Grok 4.7、Claude Fable 5.1、Gemini 3.8 Flash、GPT-6 Astra、Muse Spark 1.3 和 Claude Opus 5.5 六款具备网页与邮件权限的智能体,替一位虚构客户追讨已过 28 天索赔期的 350 英镑火车票退款。
Google 发布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及自建的 GeoExpertQueries、GeoKTools 四个基准上对比四种配置,结果显示接入 Earth AI 专用工具能显著提升定量空间任务表现,开放式问题还需前置规划。
推荐理由:技术报告用四个基准对比四种配置,量化了领域工具与前置规划对地理空间推理的增益。
Import AI 476 期聚焦三项进展:Elorian 与 Scale AI 发布 Humanity's Sixth Sense 基准,用 522 道题测试多模态模型的直觉视觉推理,人类 pass@1 达 93.1,最佳模型 GPT 6 Astra 仅 53.6,GLM-5.3-flash 与 Kimi K3 分别只有 26.8 和 25.5。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、219 个公开 PR 的评测集。
Import AI 第 469 期介绍了 DiG-bench(Discovery in Games),这是一个由 70 款游戏组成的基准,每款游戏的规则和目标都隐藏,需要玩家通过交互探索发现;目前已公开 21 款,分七个难度层级。