这项由 密歇根大学、 莱斯大学、思科研究院和 加州大学伯克利分校的研究团队联合开发的创新研究成果，发表于2025年5月30日的arXiv预印本平台（arXiv:2505.24785v1）。研究由Patrick Tser Jern Kon和Jiachen Liu作为共同 第一作者，在Ang Chen教授指导下完成。感兴趣的读者可以通过 GitHub访问完整项目：https://github.com/Just-Curieous/Curie/tree/main/benchmark/exp_bench。

想象一个能自己做研究的AI助手

你是否曾经想过，如果AI能够自动完成科研工作会怎样？不只是简单地帮你搜索资料或写代码，而是能够独立设计实验、执行它们，然后得出有意义的结论。这样的AI将大大加速科学进步，特别是在AI研究本身这个领域。毕竟，AI研究主要在数字世界中进行，理论上非常适合由AI自动化完成。

但现实情况如何呢？虽然现在的大型语言模型（LLM）在文献综述、假设生成和代码编写等单个任务上表现出了一定能力，但真正的科研需要进行严格的端到端实验，这远比完成单一任务复杂得多。

这就是密歇根大学研究团队开发EXP-Bench的原因。就像我们会通过各种测试来评估学生的科研能力一样，EXP-Bench提供了一个全面的基准测试，专门用来评估AI是否能真正进行AI研究的实验工作。

AI科研的关键挑战：从想法到实验

想象一下科研工作的完整流程：研究人员首先提出问题，然后设计实验方法，接着实施这些实验，最后分析结果并得出结论。EXP-Bench正是围绕这个完整流程设计的，它从真实的、经过同行评审的AI研究论文中提取任务，这些论文来自顶级会议如NeurIPS和ICLR。

EXP-Bench的设计非常直接。它会给AI代理一个研究问题、一个高层次的方法描述和一些起始代码。然后AI需要自行完成整个实验过程，从提出假设、设计实验程序，到执行实验并分析结果。这就像给一个研究生一个研究课题和一些基础资料，然后让他们自己完成整个研究项目。

然而，创建这样的任务并不简单。学术论文通常以讲述研究结果的方式呈现，往往省略了实验过程中的许多中间步骤。此外，关键细节可能分散在论文、补充材料和代码库的各个角落。要准确提取这些信息需要深厚的专业知识，如果纯靠人工整理，将耗时耗力且难以扩展。

打造自动化的科研任务提取流水线

为了解决这个问题，研究团队开发了一个半自动化的数据整理流水线。这个流水线首先使用引用数和代码库受欢迎程度等信号来筛选高质量的AI论文。然后，任务提取分为两个阶段：

首先是多模态提取阶段，从论文、补充材料和代码中识别研究问题的核心要素，如主要问题、预期结果和高层次实验设置（例如数据集、评估指标、模型配置）。接着是实现提取阶段，定位相关代码并组装脚本来解决指定任务。最后，通过执行验证来确保功能性。

虽然整个过程需要人工监督，但有了原始实现和真实答案作为参考，验证工作主要集中在轻量级的一致性检查上。通过这个流水线，EXP-Bench目前包含了来自51篇NeurIPS和ICLR 2024论文的461个研究任务（共12,737个可单独评分的子任务），涵盖强化学习、AI应用和生成模型等多个AI子领域。

全方位评估AI科研能力

EXP-Bench使用多指标评估流水线来评估AI代理在实验的所有核心阶段——设计、实现、执行和结论——的表现。每个指标捕捉不同的能力，它们的综合使用确保AI正确理解并完成实验。

研究团队对包括OpenHands（OH）和IterativeAgent（IA）在内的领先AI代理进行了初步评估，使用了多种大型语言模型（LLM）作为基础，包括顶级的Claude-Sonnet 3.7、Haiku 3.5、Deepseek-R1模型和OpenAIo3-mini变体。

结果令人深思。虽然在单个实验方面（如设计或实现正确性）的得分达到20-35%，但完整可执行实验的成功率仅为0.5%。这说明当前的AI代理在执行常规程序时表现尚可，但在进行复杂实验时却面临挑战。

具体来说，AI代理在以下方面存在失败：

首先是从高层次研究问题和方法中构思和操作化合理的实验设计（16.1%的设计变量分类错误）。这就像给厨师一个创建新菜品的想法，但他们无法设计出合适的烹饪步骤。

其次是将抽象研究方法转化为完整正确的代码实现（39.7%缺少必要的实现组件）。这相当于知道要做什么菜，但不知道如何准备食材或设置烹饪温度。

最后是确保复杂实验软件栈的稳健和可重现执行（29.4%的环境或依赖项配置错误，或23.8%的脚本级错误）。这就像按照食谱准备了所有材料，但最后发现烤箱不工作或者计时出错。

通过识别这些关键瓶颈，EXP-Bench帮助研究人员明确了需要改进的具体研究组件，推动下一代AI代理的发展。

从失败中学习：AI代理的常见错误

研究团队进行了详细分析，发现AI代理在不同实验阶段的多种失败模式。最常见的问题出现在实现阶段，有39.71%的失败是因为缺少必要组件。例如，代理未能包含关键元素，如语义检索策略（如UniXcoder-H2L和UniXcoder-L2H）、用于过滤问题的验证函数，或增强稳健性的技术（如Mixup、CutMix和标签平滑）。

在执行阶段，最常见的失败是环境或依赖项配置错误（29.38%）和脚本级问题（23.84%）。这些包括缺少关键环境设置或核心库，导致模型加载失败；或者模型名称无法识别、缺少检查点文件等错误。

设计相关的失败也很常见，有16.05%涉及不完整或分类错误的实验变量，7.62%反映了额外的程序添加，如包含了未在真实答案中指定的ResNet-50骨干网络或随意的超参数调整。这些设计错误表明，AI代理通常无法区分必要的实验因素和实现噪声。

在结论阶段，最常见的问题是缺失或不完整的结论（26.18%）和错误的解释（19.66%）。例如，省略了PPO和Q-Learning在训练时间和归一化分数上的详细比较，或者忽略了具体的数值增益。

这些发现强调了分阶段评估的重要性，并说明表面上的合理性可能掩盖了实验推理和可重现性方面更深层次的问题。

未来展望：迈向真正的AI科研助手

EXP-Bench的研究为我们提供了关于AI进行AI研究的能力状况的宝贵见解。虽然当前的AI代理在复杂实验方面表现不佳，但它们在某些方面已显示出初步能力。随着技术的发展，我们可以期待看到更强大的AI研究助手出现。

未来的工作将集中在使用EXP-Bench的数据集来增强AI代理的研究实验能力。一个有前途的方向是应用具有可验证奖励的强化学习，使代理能够自主导航研究生命周期并加速科学发现。

EXP-Bench的贡献不仅在于评估当前AI代理的能力，还在于提供了一个路线图，指导下一代AI代理的发展。通过识别具体的失败点，研究人员可以有针对性地解决这些问题，最终创造出能够真正协助甚至独立进行AI研究的AI系统。

这项工作对整个AI领域具有重大意义。如果AI能够自主进行研究，我们可能会看到科学进步的加速，新发现的速度大大提高，科学研究的民主化程度增强。当然，这也带来了需要认真对待的伦理问题和社会影响。

总之，EXP-Bench代表了AI研究自动化道路上的重要里程碑。它为我们提供了一个清晰的框架，来理解当前AI在研究实验方面的能力和局限性，同时也为未来的进步铺平了道路。正如一个好老师不仅评估学生的能力，还指导他们如何改进，EXP-Bench不仅评估了AI代理的科研能力，还为它们的成长提供了方向。