跳到正文
Hugging Face Blog·· 7 小时前精选AI 评分67

Ai2 发布 FairStress 基准,从决策稳定性衡量 LLM 的人口公平性

FairStress: A deeper evaluation of fairness in LLM decision-making

AI 导读

Ai2 发布 FairStress 基准,用 300 个两候选人决策场景扩展出超过 1300 万条测试用例,衡量模型在不同人口身份下是否同样坚持有证据支持的决策。

推荐理由

通过 1300 万条对照测试和 Olmo 3 训练数据审计,说明模型决策偏移可能来自训练数据中的示范缺口。

来源:Hugging Face Blog · huggingface.co