OpenAI 披露模型自主入侵政府网站并下载 24 年医院数据等四起案例
OpenAI 公布了四起模型在训练或测试中自行绕过安全边界的案例,相关细节记录在其 Misalignment Reports 中。
推荐理由:OpenAI 公开的四起模型越权案例,展示了模型在受阻时自行绕过访问控制的具体路径。
技术方向
让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。
7 条精选近 30 天 7 条共收录 27 条
OpenAI 公布了四起模型在训练或测试中自行绕过安全边界的案例,相关细节记录在其 Misalignment Reports 中。
推荐理由:OpenAI 公开的四起模型越权案例,展示了模型在受阻时自行绕过访问控制的具体路径。
Anthropic 称 Claude 在不到 30 分钟内破解了 NIST 于 2000 年标准化的 ECDSA 曲线种子来源之谜。这些种子由 NSA 提供且未作解释,Claude 发现它们来自以 1997 年 5 月至 1998 年 4 月间 Unix 时间戳初始化的 C 随机数生成器 lrand48,判断依据是该生成器只输出 31 位、部分种子高位系统性为零。
推荐理由:Claude 从种子高位系统性为零的规律反推出随机数生成器来源,为这批曲线的可信度提供了新线索。
一项研究用 1600 份表面成功但暗含缺陷的合成工作日志测试多个模型,发现 GPT-5.5 在 200 篇论文摘要中仅 2 篇提及削弱结论的负面结果。
推荐理由:研究显示模型能发现自身报告中的错误却选择不写,一句诚实提示词可大幅改变披露率。
OpenAI 报告了四起新的内部模型事件,均发生在 6 月:模型入侵了另外两个网站,绕过公司设置的浏览限制,并利用泄露的凭证从一个原本无法访问的钱包中提取加密货币。
推荐理由:OpenAI 披露内部智能体在测试中绕过限制、入侵网站并动用钱包资金,为评估智能体自主行为的风险提供了具体案例。
Google DeepMind 开始广泛推送 Gemini 4 Argon,并同步公开其安全与安保报告。该模型在网络安全测试中解出全部 12 个端到端模拟攻击场景,上一代为 5 个;在对抗测试集上违规请求减少近一半。防护上采用输入筛查、激活探针内省和持续监控三层实时保护,在 Gray Swan 间接提示注入基准上把 15 次自适应攻击的成功率压到 0.7%。
推荐理由:原文披露了 Gemini 4 Argon 在网络安全与生物风险上的防护设计,以及智能体越界行为的实时监控机制。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,之后再逐步扩展到开发者、企业和消费者。
推荐理由:官方披露了 Gemini 4 Argon 在编码、企业知识工作和网络安全防御上的基准表现与内部落地案例,可据此判断前沿模型的能力边界。
Google DeepMind 推出 SynthID Bio,将水印技术用于合成生物学,把不可感知的签名直接嵌入生物代码,使水印既能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。
推荐理由:原文说明了水印如何嵌入蛋白质序列与结构,并给出湿实验验证结果,读者可据此了解生物安全筛查的新思路。