我们是否过度相信 AI 说“不”的能力
MIT Technology Review 探讨 AI 拒绝机制:模型经海量网页训练后掌握暴力与恶意知识,企业通过拒绝训练和外部过滤层让模型学会说“不”,但拒绝机制是概率性的,仍可被突破。OpenAI 董事会成员 Zico Kolter 指出,该在何处划线是巨大难题,目前由 AI 公司秘密决定,政府也将介入划线。
MIT Technology Review 探讨 AI 拒绝机制:模型经海量网页训练后掌握暴力与恶意知识,企业通过拒绝训练和外部过滤层让模型学会说“不”,但拒绝机制是概率性的,仍可被突破。OpenAI 董事会成员 Zico Kolter 指出,该在何处划线是巨大难题,目前由 AI 公司秘密决定,政府也将介入划线。
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 对谈,讨论评估如何推动当前 AI 系统突破性能边界,以及模型在超出传统 benchmark 测试时出现的“意外失败”。她还分享使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细检查数据。
Import AI 475 期讨论了 AI 群体(swarm)扩展:4 个智能体的群体完成任务所需 token 总量约为单智能体的两倍,但每个智能体只需一半 token,并行运行理论上可将耗时减半。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本已从 GPT-4 级约 $30/百万 token 降至不足 $1,部分厂商低于 $0.10,年均降幅中位数约 50x,数据系统需围绕智能体重构。文章给出三个方向:为智能体设计的数据系统(如复用 80-90% 重复子查询)、支撑智能体集群运行的数据系统,以及由智能体自行合成数据系统。
伯克利 AI 研究团队综述了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开启多少并发线程以及如何协调。现有方法如自一致性、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由模型外部预先设定,而不同问题需要不同并行度。