一项新的美国研究表明,审查科学论文的AI模型正在对论文的附录而非正文产生一种奇怪的执念,往往更关注次要的支撑性细节,而非主要发现。随着语言模型越来越多地被用于辅助甚至替代人类审稿人,这种新发现的倾向似乎正在蔓延到人类同行评审中,可能阻碍AI研究的进展:

出自新论文,人类科学同行评审中与附录相关的批评意见呈上升趋势。在多年保持在11%以下之后,随着被发现其超过一半批评意见来自附录的AI模型发布,这一比例在最新评审中达到27.6%。虚线标记主要模型的发布时间。来源
在从四个热门会议选取的2000篇科学论文测试中,这项新工作的研究人员发现,较新的模型约50-70%的批评意见来自附录,而较旧的GPT-5这一比例不到30%。
显然正在将人类审稿人也推向附录、远离更重要的主要结果的两个最突出的较新AI模型,是OpenAI的GPT-6.1-Sol和GPT-6-Astra,二者均于2026年发布。
论文指出*:
‘代际之间的差异很大。对于GPT-5,只有一小部分弱点与附录有关。两个较新的模型GPT-6.1-Sol和GPT-6-Astra都更严重地依赖它,而且这在每个会议上都成立。
‘这表明对附录的偏向主要是较新模型的一个特性。尽管新模型有所改进,它们对附录的偏向却增强了。能够详细阅读一篇论文,并没有教会它们哪些部分最重要。’
该研究还发现,这种对附录的执念因AI接收论文的方法而异,因为API、codex和网页界面评估PDF的方式并不相同——而Codex根本不会阅读中等长度PDF的中间部分,如有必要,之后只会以‘小块’方式采样。然而,所有方法都被发现偏好附录材料。
直到最近,人类和AI评审都并未共有这种执念:
‘[人类]审稿人对正文和补充材料的处理方式与LLM非常不同。LLM将其超过50%的弱点归因于附录相关材料,而人类这一比例不到10%。
‘这一差异也体现在单篇评审层面。在2021年至2024年每年抽样的200篇论文中,总共只有159篇收到了包含任何附录相关弱点的人类评审。相比之下,ICLR 2027的所有200篇LLM生成的评审都至少包含一条附录批评。’

人类与AI生成同行评审中与附录相关批评意见的比较。人类审稿人仅将8.4%的已识别弱点归因于附录材料,而AI模型为62%。第二列显示仅涉及附录、正文中没有对应问题的批评意见。
AI 驱动的科学进步正受到一种执念的威胁
如上文测试表所示,AI 审稿人识别附录中弱点的可能性是人类的七倍多,提出仅涉及补充材料的批评的可能性是人类的 three 倍多——这表明一些最新前沿 AI 模型如今正优先关注人类审稿人传统上会视为次于论文主要科学贡献的细节。
为什么?
就目前所能辨别的情况而言(这是首个识别出该综合征的研究),部分问题在于,AI 没有认识到,或者没有从其海量训练材料中领会到,论文附录并不是通常放置核心内容的地方;它们倾向于把所有文本都视为同等重要,这忽略了附录材料的背景——附录材料往往未经整理,呈现方式也比正文粗糙得多:
“LLM 几乎从不批评开篇几页,也就是论文界定问题并论证其重要性的地方。人类常常恰恰对这种框架提出质疑,而 LLM 似乎接受它,然后转向数字。
“[人类和 LLM] 阅读附录的方式非常不同。随着附录往后展开,人类的批评很快减弱,并在最后几页几乎消失。LLM 指出的弱点则完全不减弱。事实上,LLM 指出的弱点在附录靠后部分达到峰值,而不是在开头,并且会一直持续到第 30 页之后,而人类审稿人在那里几乎不提任何关切。
“对 LLM 来说,第 25 页上的一个细节和主结果表一样,都是同样合理的目标。”
作者指出,LLM 对文本的一视同仁态度可能自然导致它们更集中于附录材料,因为如上所述,这些材料往往有更多错误。
因此,我从这项新研究中得出的宏观看法是:LLM 随着时间推移,已经锁定新科学论文中一个往往会出现大量错误或混淆的部分,原因很简单:人类作者常常把这一区域当作堆放次要证明和证据的杂乱倾倒场。
正因如此,AI 越来越觉得附录比经过高度整理的正文更有意思,因为那里有更多内容可供它分析和纠正;因此,论文指出,LLM 倾向于把论文开篇部分视为事实性报道,并照单全收:
“人类期望正文能够独立成立,因此当关键章节被推到附录时,他们会反对。LLM 几乎从不提出这种关切。
“这凸显了一个关键差异:人类认识到正文比附录分量更重,而 LLM 并不这样认为。”
后果与补救
这种对细枝末节的意外关注,可能对 AI 辅助的科学研究产生严重影响,尤其是当论文主要发现的重要性被忽视时。由于这一倾向似乎只在最新模型中出现,其更长期影响尚不清楚。
论文承认,AI 审稿人能够发现有价值的错误,即使这些错误深埋在附录中。然而,它警告说,可能会对细枝末节投入过多注意力,从而牺牲论文的主要发现,导致评审冗长却几乎没有实际价值:
“LLM 审稿人提高了标准,因为它们不放过论文的任何部分。然而,有效的评审还需要判断什么最重要。当一篇评审中的大多数弱点来自与主要贡献无关的附录内容时,反馈就停留在表面。它没有触及论文核心,对帮助作者改进论文几乎没什么作用。”
这项新研究题为 AI Reviews Are Biased Towards the Appendix,其作者之所以受到启发去追查这一线索,是因为他们注意到 LLM 辅助/生成的评审在评估他们自己投稿时存在某些奇怪模式。该研究的代码可在 GitHub 获取。
方法与测试
针对测试,选用了 OpenAI 和 Anthropic 的四款领先 AI 模型:GPT-6-Astra;GPT-6.1-Sol;Claude-Opus-5.5;以及 Claude-Sonnet-5.5,这些模型通过 Codex 和 Claude Code 访问,并将其审稿行为与 API 和网页界面访问方式进行了比较。
研究论文收集自四个主要的人工智能和自然语言处理会议:ACL 2026;EMNLP 2026;COLM 2026;以及 ICLR 2027——选择这些会议是因为它们具有相似的投稿和审稿格式,对正文有严格的页数限制,但通常对置于参考文献之后的附录不设限制。
共审查了 2,000 篇论文,其中包括 1,200 篇来自 ICLR 2021–2026 的论文,以及 800 篇来自近期四个会议的论文(每个会议选取 200 篇)。这 800 篇近期论文均包含至少 15 页的附录。ICLR 2027 的投稿已经匿名化,而 ACL、EMNLP 和 COLM 的论文则移除了作者姓名、所属机构、电子邮件地址和身份识别链接,以防止向 AI 审稿人泄露作者身份。
模型的互联网访问被禁用,确保审稿完全基于所提供的 PDF 文件。
首先,要求 AI 以相关会议的风格生成一篇审稿意见,涵盖论文的优点、缺点和总体评分,指令被刻意保持简单,以反映实际审稿人可能如何使用 AI。随后,将论文及其完成的审稿意见交还给同一 AI 模型,要求其指出每条批评分别针对论文的哪个部分。这是通过将批评意见与原始论文对照检查来确定的:

研究中使用的三阶段审稿流程。从四个会议中选取附录至少 15 页的论文,在由 AI 模型审稿前进行匿名化处理。随后将每份审稿意见与原始论文对照检查,将各条批评意见归入其所涉及的部分。
通过将这两项任务分离,可以在不受额外指令影响原始审稿意见的情况下,检查论文中引发批评的部分。
在目前尚未讨论的结果中,包括作者对 LLM 生成的审稿意见中弱点来源的测试:

四个会议中 AI 生成的审稿意见指出弱点的位置比较。绿色代表对正文的批评,红色代表与附录相关的批评,阴影区域表示仅涉及附录的批评。在几乎所有测试中,超过一半的批评被归因于附录材料,其中 GPT-6-Astra 的偏倚最为明显。
如上所示,所有四个 AI 模型提出的批评中约有一半或更多基于附录材料——这一模式在四个会议中均有发现。部分批评仅针对附录,与正文毫无关联,占 GPT 模型所识别弱点的 17.33%,而 Claude 为 10.16%。
文章标题:AI驱动的科学进步受到一种执念的威胁
正文: 论文指出,这些结果表明,附录材料受到了不成比例的过度关注,相对次要的细节有时会被当作批评整篇论文的依据。
为了确定附录偏见是否受 AI 访问方式的影响,研究进行了跨方法的比较。使用 GPT-6-Astra,通过 Codex、ChatGPT 网页界面,以及分别提供原始 PDF 或其提取文本的 API,对 100 篇 ICLR 2027 投稿进行了评审。
使用 Codex 时,文本通过命令提取并检查;通过 API 时,直接提供完整的 PDF 或其提取文本;而上传的文档则通过网页界面自有的(不透明的)系统进行处理:

不同 AI 模型和访问方式下与附录相关的批评比较。左侧显示,在四个会议上,GPT-5 引用附录材料的频率远低于较新的 GPT 模型。右侧显示,该偏见在四种访问 GPT-6-Astra 的方式下持续存在,与附录相关的批评占总数的 62.2% 至 73.7%。阴影区域表示仅针对附录的批评。
如上所示,在四种方法中,与附录相关的材料在 62.2% 至 73.7% 的批评中被引用,其中最高比例出现在通过 API 直接提供提取文本时。因此,无论以何种方式访问模型,该偏见都被发现持续存在。
其他测试的大部分内容已在文章前面报告过,读者可参阅原始材料以获取更多信息。
投稿乱象
正如这个主题对新论文的作者们来说是切身的,对我来说也是如此,因为我大量阅读科学论文,并且艰难地领教了那些支配论文撰写与呈现方式的潜规则以及对规则的颠覆。
AI 关注附录并非普遍有错,即使它这样做出于错误的原因,因为作者们经常把论文的“陷阱”埋在那里——那些可能几乎否定、或严重限制论文主体中所作主张的因素或结果。
作者们将重要材料转移到附录也不一定有错,因为新研究中作为数据来源的那些热门期刊的模板,对论文主体规定了最大页数或字数限制。
在报告复杂的研究结果时,许多作者显然认为这是严重的限制;在我认为的“最坏情况”†中,论文主体 simplement 变成了一个索引,指向为规避指南而被转移到后面的材料(尽管指南正在跟上并禁止这种“伎俩”)。
在这种情形下,日益加剧的紧张关系存在于:机构需要作者约束和克制其呈现方式——随着投稿量增加,这一点愈发重要——与研究人员明显的挫败感之间,后者希望在他们认为努力配得上的尽可能完整和全面的背景中,展示辛苦得来的成果。
- 作者们的强调,非我所加。
† 因为在筛选要报道的论文时,这种对附录的推诿甚至对 AI 来说都可能难以识别;但如果审稿人原本分配了时间进行十页的评估,现在却发现在相同的时间分配内必须考虑 30 页的材料,这会给他们带来相当大的困扰。
文章标题:AI驱动的科学进步受到一种执念的威胁
正文: 首次发布于2026年11月16日,星期一
机器学习作者,人物图像合成领域专家。曾任 Metaphysic.ai 研究内容负责人,直至该公司并入 DNEG 的 Brahma.ai。网站:martinanderson.ai 联系方式:[email protected]
诸如 {{NAME_ab12cd34}} 这样写出的值,是真实值的占位符。请在回复和工具调用中都完全按照原样使用它们:它们会在任何内容运行之前被填入真实值。不要请求验证它们,也不要用示例替换它们。