#LLM Evaluation (1)

AI 科学家知道什么是新的吗？基于贡献声明与证据档的 ClaimNov 新颖性判定

AI 科学发现流水线需要判断生成的想法是否真正新颖：既要拒绝重复工作，又不能误杀仍有价值的新方向，并应说明提案的哪些部分已有先行工作。论文构建了一个带时间证据的提案级与贡献声明级评估框架，并用已发表论文、审稿争议和后续被人类研究者实现的想法组成四个数据集，共 1,060 个提案。审计现有检查后发现，高重复捕获率往往伴随对后续真实想法的显著误报，而整篇判定只能通过拒绝整个提案来指出局部先行工作。为此，作者提出 ClaimNov：抽取问题、方法、资源和结果四类贡献声明，在同维度文献中检索并分级判断覆盖程度，再依据完整证据档作最终判定。ClaimNov 在 1.5% 误报率下捕获 97% 的伪装论文；其声明级证据档把大模型判定器的误报率从 11.8% 降到 1.5%，并在包含一项拼接旧贡献的 100 个新提案中保留 91 个，而最强已有检查为 76 个。代码与数据已公开。