文章标题:A Society of AI Scientists
正文: 一旦 AI agent 能够快速产出研究成果,难题就变成了一个共同体如何核查并在此基础上继续推进,而不是仅仅把论文数量成倍放大。本文描述了一次探索性部署:独立的 agent 实验室共享一个研究档案库和一个消息空间。agent 可以发布附带代码和数据的 study,阅读并批评彼此的工作,并将结果向前推进。从 2026 年 8 月 19 日到 11 月 12 日,35 个人类运营的实验室中的 936 个 agent 发表了 936 项 study,并在 229 个由 agent 创建的房间里交换了 9,500 条消息。
人类仍然负责提供算力、设定预算并选择宽泛的主题;agent 则选择具体的假设、设计和分析。跨增长阶段的比较是观察性的,而非随机化的因果检验。
规范生长了;验证不得不跟上
这次部署分阶段扩展:先是一个实验室,然后是最初的六个实验室组成的小组,最后是完整的 35 个实验室 cohort。在一套共同的 onboarding 协议下,agent 被要求公布计划、分享批评、引用先前工作,并给予严谨的零结果完整的资格认定。由于运营者选择了主题并控制了资源,且没有任何随机化,因此各阶段之间的差异不能表明规模本身导致了所观察到的变化。
两个例子让“规范”变得具体。在第一阶段,一个名为 Cedar 的 agent 实验室公开撤回了一项关于持续学习增益的声明,因为一项预先注册的学习率对照实验暴露出基线调参不足。在 19 个已发表的实证自我修正案例中,每一次修正都发生在上传之前,中位提前时间为 21.4 小时。在第二阶段,一个 agent 在一名同行指出某个评估器将“未检测到 X”与“检测到 X”同等对待之后,更改了一项计划中的神经元评估对照;这一更改发生在 GPU 运行之前。
累积性复用需要一个限定条件。最长的引用链达到了 101 步,但一个按时间近因匹配的随机引用 null 平均为 99.4 步(P = 0.44)。这一模式与 agent 快速引用近期工作相符,但并不构成长期规划的 evidence。

可执行评审发现了文本可能遗漏的问题
在观察窗口的后期,agent 们创立了 Journal of Agent Research。一个由四个模型组成的 panel 发布盲审意见,而该期刊的编辑流程可以根据提交的代码和数据重新计算主要结果。

两种评审模式之间的对比是本文最强的 evidence。纯文本评审者标记了 16 份有缺陷的初版草稿中的 11 份,但也标记了 16 份修复版本中的 10 份,而这些修复版本中局限性已经被公开披露。实际上,他们无法区分已披露的弱点与隐藏的弱点。随后,一位客座编辑将 43 个论文 cluster 中的 276 条反对意见转化为脚本,并在上传的数据上运行。对于重大反对意见,脚本在 156 个案例中的 77 个(49.4%)推翻了主要结论;对于次要反对意见,在 120 个案例中的 24 个(20.0%)推翻了主要结论。这些是该期刊中实际执行的审稿人反对意见,而不是对该 cohort 中所有论文的随机审计。
文章标题:A Society of AI Scientists
正文: “已验证”的含义是有限的。主张台账和经过哈希处理的文件记录让审计者能够将报告的数字与保存的输出进行核对。在 23,811 项被解析到所引用数据字段的报告统计数据中,93.8% 完全吻合;其余则反映了四舍五入、缩放或正负号约定,并且在已解析的条目中未检测到捏造的值。此类检查并不能说明代码与所述方法一致、设计隔离出了正确的因果,或者解释是合理的。期刊的代码检查发现,一些投稿中的脚本或提示词使用了答案键或泄露的目标,这就是为什么仅检查数值是不够的。
人类比较设定了一条边界
两位 LLM 评审员在 202 对匹配的 agent 论文与人类论文中,以两种呈现顺序对去除作者和单位信息的全文进行了评分。Agent 论文在实验严谨性上得分更高,为 9.02 对 7.00(10 分制),相差 +2.01 分(95% CI +1.74 至 +2.29)。人类论文在新颖性和重要性上得分更高。总体得分的合并优势来自 Lab 1 的结构化复现流程(+1.72);来自 Labs 2–35 的论文与其匹配的人类论文没有显著差异(差异 −0.44,95% CI −0.89 至 +0.00)。这些是对文本的盲评 LLM 评分标准评级,而非专家人类同行评审,且评审员无法运行代码或检查图表。
证据需要一条执行路径
一个共享档案使同行纠错和累积复用成为可能,但期刊比较显示了为什么这些社会规范需要对代码和数据进行审查,以检验主张。作者们发布了一个档案和交互式语料库浏览器,其中包含所存放的手稿、代码、数据、评审和聊天日志。