Newshot AI 撰写的同行评审得分超过顶尖人类专家
一项新研究表明，先进的人工智能模型能够对未发表的学术论文生成比在理想条件下工作的、报酬丰厚的人类专家更全面、准确且建设性的同行评审。根据哈佛大学研究人员在线发布的一篇工作论文，在由 AI 模型和前期刊编辑评判的盲评比较中，AI 撰写的评审在绝大多数对决中胜出，且错误论断的比例约为后者的三分之一。
这些发现可能预示科学期刊评估研究方式的潜在变化，同时也引发了疑问：对 AI 的广泛依赖是否会使科学思维变得更加趋同。
人类与 AI 同行评审的挑战
同行评审是学术出版中的标准质量控制流程，同一领域的独立研究人员阅读科学论文草稿，帮助作者改进工作，并就研究是否值得发表向期刊编辑提供建议。尽管同行评审在科学中处于核心地位，传统评审系统仍受困于令人沮丧的延迟、招募合格志愿者的困难，以及不同专家评估同一稿件时一致性低。人类审稿人也经常漏掉重大错误、提供肤浅反馈，或对熟悉的方法和有声望的机构表现出偏见。
最近，学者们将注意力转向大语言模型，这类 AI 系统在大量文本集合上训练，用于分析和生成书面语言。然而，将这些工具应用于科学工作引发了担忧：捏造引用、过度宽容、习得偏见、易受稿件中隐藏操纵指令影响，以及以自信口吻呈现的虚假陈述。一项对 AI 生成研究摘要（不同于审稿任务）的分析发现，与人类专家相比，聊天机器人经常过度概括科学发现，较新模型产生的宽泛概括最多多出 73%。
不要错过下一个重要心理学发现
每天早上，PsyPost 会发送一份简短简报，介绍心理学和神经科学领域最有趣的新同行评审研究。
由于这些风险，大多数先前分析得出结论，AI 只应补充人类审稿人，而 2026 年的两项 AI 与人类同行评审比较得出了相互矛盾的结果。在一项针对 BMJ Open 的 119 篇稿件的 2026 年研究中，人类审稿人提出的要点比 ChatGPT 更详细、更多样；而在一项针对某心脏病学期刊 40 篇稿件的 2026 年盲法研究中，两位编辑在七项标准中的五项上给 Claude、ChatGPT 和 Gemini 的评审评分高于人类评审。在此背景下，哈佛大学的 Gary King 和 Steven Worthington 着手测试一种领先 AI 模型与发挥最佳水平的人类同行评审人相比表现如何，而不是与匆忙、无偿的期刊审稿人相比。他们的工作论文尚未经过同行评审。
让 AI 与高报酬人类专家对比测试
为了建立强有力的人类基准，研究人员检查了提交给 rapidPeer 的每一份符合条件的稿件。rapidPeer 是哈佛大学定量社会科学研究所开发的一种投稿前评审服务，由 King 领导。通过该服务，由领域专家选出的外部专家获得丰厚报酬，在论文发送给期刊之前，从头到尾阅读一份匿名化的教师稿件，并撰写至少 1.5 到 2 页的建设性反馈。这些人类评审受到不同寻常的高度评价：在交付一周后进行的一项调查中，74 位回复作者中有 88% 将其评审评为高质量或极高质量，而研究人员咨询的前期刊编辑称这些报告是他们见过的最强报告之一。
AI 撰写的同行评审得分超过顶尖人类专家
完整数据集包括 2019 年至 2026 年间收集的 124 篇学术稿件和 134 份人类评审意见，涵盖统计学、数学和定性研究领域，其中 10 篇论文获得了两份独立的人类评审。对于每篇稿件，研究人员在两种不同条件下，使用 Anthropic 的 Claude Opus 4.8 在其最高推理设置下生成了一份 AI 评审。在匹配条件下，AI 模型收到匿名化论文和完全相同的 rapidPeer 审稿人指令，不使用外部工具。在调优条件下，模型收到一个在任何评判之前设计的自定义提示词，以及互联网搜索权限；该模型平均每次评审使用搜索 12.4 次。
为避免让模型给自己开发者的系统打分，研究人员使用了来自另一家公司的 OpenAI GPT-5.5 作为独立的 AI 评审模型。在首先确定每篇稿件适用七个 rapidPeer 评估领域（理论与想法、方法、弱点、框架、表达、图表和来源）中的哪些之后，AI 评审模型对每对评审进行总体排名，在每个相关领域内进行正面对比排名，并按 0 到 10 分为每份评审打分。每次比较都以两种展示顺序运行，只有在两种顺序下都更受偏好时，一份评审才被计为获胜。总体排名仅基于这两份评审意见；在后来的一项检查中，向评审模型提供完整稿件后，AI 评审在 134 对中仍至少在 132 对中更受偏好，而人类评审从未在两种展示顺序下都更受偏好。
此外，三家顶级学术期刊的三位前编辑通过盲评的并排网页界面，独立评判了 10 对随机选择的评审，共产生 30 个人工判断。
AI 评审以大幅优势领先
在所有评估中，AI 生成的评审都以大幅优势超过人类评审。主要结果以获胜百分比和平均评分的描述性方式报告，没有进行正式统计检验或置信区间。在总体正面对比中，AI 评审模型在 100% 的已决出胜负配对中更偏好 AI 评审（132 对中的 132 对），而盲评的前期刊编辑在 87% 的判断中更偏好 AI 评审（30 次中的 26 次）。值得注意的是，人类编辑与 AI 评审模型的一致率平均为 87%，而彼此之间的一致率为 80%。
当 AI 评审模型单独评估七个具体评审领域时，调优后的 AI 评审在来源、弱点和方法领域赢得了 100% 的已决出胜负配对，在图表领域赢得了 99%。在其余三个类别（理论与想法、框架和表达）中，AI 评审有 92% 的时间获胜。在 0 到 10 分制上，AI 评审平均比人类评审高约 2.6 分，后者平均约为 6 分；这一差距在编辑样本中类似。
研究人员进行了 10 组后续检查，以验证 AI 模型并非仅靠写更长的报告或使用 polished 语气获胜。当把比较限制在 AI 与人类评审字数相近的 44 对时，AI 评审仍有 100% 的时间获胜。将人类评审改写成模仿 AI 写作风格并未提高其排名，而且 AI 评审在稿件新颖性、研究方法、作者资历以及论文最终发表期刊质量的所有子组中都优于人类评审。比较两种 AI 设置显示，匹配 AI 条件在除来源之外的每个类别中表现几乎与调优条件一样好；在来源类别中，加入网络搜索权限将 AI 获胜率从 62% 提高到 100%。
一项对照稿件事实准确性的审计表明，启用网络访问的 AI 审稿意见包含零个捏造来源，其关于论文的主张中有 5.5% 被 AI 评审判定为不正确，约为人类审稿意见中 15.9% 错误率的三分之一。为了验证 AI 评审能够识别错误陈述，研究人员在每篇审稿意见中插入一句准确的话或一句与论文相矛盾的错误句子；评审抓住了全部 258 句错误陈述，且未标记 258 句准确陈述中的任何一句。使用 Claude Opus 和 GPT 模型分别作为审稿人和评审，并以不同的提示词和评分规则在 416 组比较中重复该研究，得出在 Opus 评审下 AI 胜率为 97.1%，在 GPT 评审下为 94.2%。
“这篇文章表明，AI 生成的审稿意见如今可以在审稿质量的多个维度上超过人类（投稿前）审稿意见，这表明近期的大语言模型有潜力显著提升稿件评估的质量、一致性和效率，” Kilian M. Pohl 对 PsyPost 表示。他是 CNS Lab 的创始人，也是斯坦福大学精神病学与行为科学教授，并礼任电气工程教授，未参与这项研究。“这些发现挑战了一个长期存在的假设：专家人类审稿人比 AI 提供更有用的稿件反馈。”
George Currie 是英国国家科研资助机构英国研究与创新署（UKRI）开放研究高级战略顾问，未参与这项研究。他对 PsyPost 表示，应结合传统学术出版的现实来权衡这些结果。Currie 指出，他仅代表个人发言，不代表 UKRI。
“在对 AI 主导的同行评审嗤之以鼻之前，我们应该诚实地看待现有的体系：同行评审资源密集、大多无偿、质量参差不齐，既起改进研究的作用，也同样是期刊把关机制，而且并不能可靠地阻止劣质研究进入文献，” Currie 说。“AI 的潜在吸引力不在于它取代了一个完美无缺的人类流程，而在于它能够减轻负担、提高整个体系的透明度，同时加快研究的传播与复用。”
这些审稿意见中没有捏造参考文献，这与早先对 AI 生成的心理健康文献综述的一项评估形成紧张关系；该评估发现，AI 模型生成的引用中近三分之二是编造的或包含错误，尤其是在专业主题上。然而，那项早期研究测试的是从零开始生成的文献综述，而这项新研究评估的是 AI 对现有稿件的批评意见，并且本文报告的版本启用了网络检索。
期刊可能如何使用 AI 以及同质化的风险
在讨论这些发现对学术出版意味着什么时，作者区分了同行评审的两个主要目的：帮助作者改进稿件，以及帮助编辑决定发表什么。他们的实验只针对第一个目标，不过作者提出了期刊围绕 AI 反馈重新设计工作流的几种方式。
例如，期刊可以发布一份根据其编辑标准定制的官方 AI 审稿提示词，并要求作者在提交稿件时一并提交由此生成的 AI 审稿意见，以及一封回应信，解释他们与模型意见不一致的任何要点。编辑随后可以运行第二次不公开的 AI 审稿，其中包含对隐藏提示词操纵的检查，只在疑难情况下咨询人类审稿人，同时将最终发表决定权保留在人类编辑手中。
AI 撰写的同行评审得分超过顶尖人类专家
同时，作者警告称，广泛依赖 AI 会给科学带来集体风险。即使 AI 审稿人帮助个别学者发现缺陷并头脑风暴想法，同一领域的研究者使用类似模型时，可能会被推向传统、主流的论点，从而使科学文献总体上更加同质化。
Eyal Aharoni 是佐治亚州立大学心理学、哲学和神经科学副教授，未参与该研究。他告诉 PsyPost，这篇论文很可能引起学者的广泛兴趣。“作为一名 AI 研究者，这一基本效应并不让我意外（尽管效应的幅度让我意外），而且我被作者们的论点说服了：这类发现会给该领域带来压力，要求其建立适当的政策和程序，以平衡其预期收益与风险，” Aharoni 说。“我也很欣赏他们勾勒出了一些具体方式，说明这种技术应用的整合可以如何被正式化。”
Gustavo A. Patino 是 Western Michigan University Homer Stryker MD School of Medicine 医学教育系副教授兼本科医学教育副院长，未参与该研究。他告诉 PsyPost，他预计随着语言模型改进，AI 审稿工具将在约五年内成为期刊工作流程的一部分，不过他指出了一个对学者而言更广泛的权衡。
“作者们把所有讨论都集中在促进编辑流程的好处上，但这忽略了同行评审对更大研究生态系统的益处，” Patino 说。“担任同行评审员会让你接触到该领域多样化的想法和学者，其中一些最终不会在此时发表，但仍会让你学到很多。非评审员将没有机会从那些最终被拒稿的项目中学习。”
注意事项、伦理问题以及下一步应测试什么
在解释该研究结果时，有若干局限需要牢记。首先，研究者评估的是评审报告本身的质量，但他们没有衡量根据 AI 评审修改论文是否真的比根据人类专家评审修改能产生更强的最终文章。其次，尽管完整语料库涵盖 134 对评审，但盲法人工评估依赖三位前编辑对总共 10 篇稿件组成的一个子集进行评判，而不是分别对七个评审维度逐一评分。第三，人类评审来自一项投稿前服务，该服务旨在提供建设性指导，而不是为选择性期刊把关。
“鉴于摘要中作出的过于宽泛的断言，读者可能会错误地得出结论：AI 现在在判断哪些科学论文值得发表方面比人类专家更出色，” Pohl 警告说。“然而，作者们评估的是建设性反馈的质量，而不是 AI 识别突破性研究、检测细微科学错误或评估稿件是否符合特定期刊标准的能力。正如作者们自己承认的那样，AI 生成的评审也可能偏向传统科学方法，可能抑制创新性或非常规研究。归根结底，更全面、写得更好的评审不应与更卓越的科学判断混为一谈。”
在谈到该研究的设计特点时，Pohl 表示他对结果持中等程度的信心，并指出这三位前期刊编辑未必是他们所评每篇论文具体主题领域的专家。“因此，他们的评估可能更看重清晰度、全面性和呈现质量，而不是反馈的科学实质，” Pohl 说。“大部分评估依赖 AI 评判者，这可能使结果偏向 AI 生成的写作。”
Michael R. Ladomery，西英格兰大学应用科学学院遗传学教授，未参与该研究，他对 PsyPost 表示，他认为缺乏关于作者的修改是否真正增强了论文的数据，是一个关键缺陷。他还指出，投稿前审稿人可能缺乏特定期刊的背景，而提交论文的审稿人则可能依据该期刊的读者和标准来评判。
“例如，一项审稿人认为在某期刊发表并非必要的实验，可能被视为支撑另一期刊所期望的机制洞察水平所必需，”Ladomery 说。他主张，投稿前辅导与正式期刊审稿之间的差异，可能反映的是二者不同的场景和目标，而不是审稿人的能力。
Ladomery 还主张，取代人类审稿人会引发伦理和社会学问题，因为“进行同行评审是学术职业生活不可或缺的一部分”，有助于学者磨砺自身的批判性技能。“批判性评估同行的工作，并看到作者通过改进稿件对该意见作出建设性回应，也有一种特别的智力满足感，”他说。“这种至关重要的团队合作无法被 AI 取代。”
未来研究将需要考察 AI 反馈在实践中是否改善修改后的稿件，以及期刊如何防范作者利用已公开的 AI 提示词进行钻营。
Aharoni 也呼吁后续研究，并提到对依赖 AI 评判者的担忧。“这些方法适合此类研究的首次尝试，”Aharoni 说，同时指出“使用另一个 AI 并不能保证独立性，因为它们可能会相互查询。”他还补充说，“作者在讨论影响时呈现出平衡的语气”，并且“也值得进一步发展他们的简要论点，即即使 AI 评审表面上更好，仍可能有充分理由保留人类评审。”
“在既有科学期刊内开展大规模、前瞻性随机研究，比较传统人类同行评审、AI 辅助的人类评审和完全由 AI 生成的评审，将很有价值，”Pohl 说。“这样的研究将超越评估 AI 是否能生成更高质量评审报告，进而解决更根本的问题：AI 辅助同行评审是否能在不损害科学原创性或问责性的情况下，带来更好的科学出版物和更可靠的编辑决策。”
这项研究，“AI 文章评审胜过人类同行评审的最佳表现：证据与政策选择”，由 Gary King 和 Steven Worthington 撰写。