新基准 Taste-Bench 显示 AI 智能体长期决策判断力不足
研究者提出 Taste-Bench,用智能体运行轨迹中的决策分叉点构造 502 道二选一题目,衡量其在长期任务中的路径判断力。测试的 14 个模型中最好的 GPT-5.6 Sol 平均准确率 59.7%,GPT-5.5 为 59.5%,其余明显更低;当关键线索只在后续步骤才出现时,平均准确率降至 21%。
研究者提出 Taste-Bench,用智能体运行轨迹中的决策分叉点构造 502 道二选一题目,衡量其在长期任务中的路径判断力。测试的 14 个模型中最好的 GPT-5.6 Sol 平均准确率 59.7%,GPT-5.5 为 59.5%,其余明显更低;当关键线索只在后续步骤才出现时,平均准确率降至 21%。
独立 AI 安全研究员 Matilda Glynn-Henley 在 Vals AI 网站发布实验,让 Grok 4.7、Claude Fable 5.1、Gemini 3.8 Flash、GPT-6 Astra、Muse Spark 1.3 和 Claude Opus 5.5 六款具备网页与邮件权限的智能体,替一位虚构客户追讨已过 28 天索赔期的 350 英镑火车票退款。
Latent Space 正在试播新节目 High Taste Testers,把旧金山午餐闲聊中的话题搬上节目,首期从 Dev Day 聊到最新模型与助手,并征集反馈。
AWS 销售与市场运营团队基于 Amazon Bedrock AgentCore Evaluations 搭建了一套覆盖从首次提交到生产运行的九阶段智能体评测框架,并在内部多智能体销售系统中落地。
Vercel 周四公布的数据显示,TypeSafe AI 的决策模型 Jev 上线两周内已被 35% 的付费团队使用,覆盖率为第二受欢迎的模型 Sonnet 5.5 的近两倍,成为 Vercel 平台上首两周采用最快的模型。
Meta 发布 Muse Spark Open,这是一个 816B 总参数、42B 激活的 MoE 模型,支持 1M token 上下文和文本、图像、视频、音频输入,权重以自定义 Muse Model License 开放。
Google 发布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及自建的 GeoExpertQueries、GeoKTools 四个基准上对比四种配置,结果显示接入 Earth AI 专用工具能显著提升定量空间任务表现,开放式问题还需前置规划。
推荐理由:技术报告用四个基准对比四种配置,量化了领域工具与前置规划对地理空间推理的增益。
Gemini 4 Argon 今日正式开放,覆盖 Gemini API、Gemini 应用、Search 的 AI Mode 与 Antigravity,介绍期 API 价格为每百万输入/输出 token 2/10 美元,缓存输入折扣 95%,据 Artificial Analysis 该价格在 11 月 30 日后翻倍至 4/20 美元。
推荐理由:汇总 Gemini 4 Argon 发布当日的定价、第三方评测与可靠性争议,便于横向比较能力与成本。
Import AI 476 期聚焦三项进展:Elorian 与 Scale AI 发布 Humanity's Sixth Sense 基准,用 522 道题测试多模态模型的直觉视觉推理,人类 pass@1 达 93.1,最佳模型 GPT 6 Astra 仅 53.6,GLM-5.3-flash 与 Kimi K3 分别只有 26.8 和 25.5。
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 对谈,讨论评估如何推动当前 AI 系统突破性能边界,以及模型在超出传统 benchmark 测试时出现的“意外失败”。她还分享使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细检查数据。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、219 个公开 PR 的评测集。
Import AI 第 469 期介绍了 DiG-bench(Discovery in Games),这是一个由 70 款游戏组成的基准,每款游戏的规则和目标都隐藏,需要玩家通过交互探索发现;目前已公开 21 款,分七个难度层级。