Hugging Face Blog·· 3 小时前精选AI 评分62
Ai2 发布新颖性评测基准,检验 LLM 能否判断研究想法是否新颖
Can we trust LLMs to judge whether a research idea is novel?
AI 导读
Ai2 发布研究 Old Ideas, Novel Problems,并开放用于测试 LLM 新颖性判断的基准、数据和代码管线。基准从 ICLR 2026 审稿中挖掘出 154 条高新颖与 145 条低新颖的人类想法,另将 154 条人类想法与 154 条 LLM 生成想法配对。
推荐理由
同一批研究想法在微小提示改动下判定大幅翻转,简单提示词基线在准确率和成本上均优于两个专用评测系统。
来源:Hugging Face Blog · huggingface.co