Newshot

我让 AI 读了我的领域

Translation(model translation, not the source's own text)

我让 AI 读完了我的整个领域。

158,059 篇论文、554,670 条引用。每篇论文的全文都经过筛查,659 篇最重要的论文被重新计算并核验,每一个被证实的错误都被追踪到引用它的论文中。这就是那张地图,以及它对于科学能否自我纠错所说明的问题。

无人修正的错误

我在这个领域花了五年时间,在 Caltech 攻读博士学位,其中几个月的时间用在了文献中那些早已为人所知的错误上。我的代码所基于的方程来自 Bishop、Gómez、Lehner、Maharaj & Winicour 的 “High-powered gravitational news”(1997),这是该子领域的特征码所源自的论文。人们知道它存在错误。修正散落在约 10,000 行相互矛盾的邮件往来中,而论文本身从未被更正。我能做的最好的事情就是在自己的论文中更正记录:一个附录列出了完整且自洽的方程组,以及一句括号里的“其中 s3 的符号错误已更正”,供细心的读者参考。

这就是人工文献综述的极限。我的综述并不深入:我的三篇学位论文加起来引用的论文不到一百篇,而这是一个拥有数万篇论文的领域。没有人会重新推导他们引用的每一个方程,审稿人只审一篇论文一次,也没有人付钱让人回去修正原始论文。因此,每一个建立在有缺陷论文之上的学生都要逐一付出同样的代价,而修正只存在于某人的收件箱里。机器可以读完整片领域,重新计算它,并追踪每一个错误到每一篇复制了它的论文。所以我让一台机器去做了。它也在我的论文中发现了错误。

每个点都是一篇论文

高度是时间:1960 年代在底部,今年在顶部。每条细线是一次引用。明亮的点是其他一切所依赖的论文,其排名方式就像 Google 对早期网络进行排名一样。

种子是 TAPIR,Caltech 的理论天体物理组,我在那里攻读博士学位:自 2004 年以来,其 326 名成员发表了 4,093 篇论文。加上他们引用的每一篇论文以及引用他们的每一篇论文,你就得到了由 554,670 条引用连接的 158,059 篇论文。这里绘制的 49,301 篇是与 TAPIR 至少有三次关联的论文。

看它生长

这张地图包含 1970 年代的 499 篇论文、1990 年代的 2,035 篇和 2010 年代的 18,976 篇。古老的层是幸存者,是今天工作的人仍然引用的论文。1975 年的其他一切,无论对错,都已被遗忘。

这个领域所知的大部分内容是在过去二十年里写成的,作者们仍在世,可以回复邮件。记住这一点。

一个子领域是一根柱子

没有人告诉布局什么是数值相对论。相互引用的论文聚在一起,因此一个子领域会以一根柱子的形式出现:同样的几十个人年复一年地写同一个问题,每一层都站在上一层之上。

共有 32 根柱子,从快速射电暴到银河系晕。

数值相对论

在计算机上求解爱因斯坦方程,直到两个黑洞合并。这根柱子里有 278 篇论文,其中 71 篇来自 TAPIR,2010 年最为繁忙。

每个子领域都有一个页面:它所围绕组织的问题以及每个问题是开放的、有争议的还是已解决的,谁在哪里写了核心论文,发表速度有多快,以及我们追踪到了它的哪些错误。

每个开放问题还带有一个标记,说明当今 AI 能对它做些什么。在 155 个问题中,模型判断 8 个可以立即从已有数据和代码中回答,119 个 AI 会加速,28 个则卡在等待望远镜或探测器上。

数值相对论 → 全部 32 个子领域

每篇论文都会被筛查

文章标题:我让 AI 读了我的领域

正文: 仔细读一篇论文要花几美元的模型时间。筛选一篇则分文不花,所以凡是能拿到全文的论文都做了筛选:50,269 篇论文、4.21 亿词,逐一检查最严重几类问题的特征。这覆盖了图中论文的 76%。1991 年之前的论文不在 arXiv 上,仅发表于期刊的论文也不开放,因此其余论文只做了能在数据库记录上运行的检查。(金色标记的是 TAPIR 自己的论文。)

  • 论文工厂式语言:无。
  • 聊天机器人残留及写给 AI 审稿人的隐藏指令:无。
  • 作者毫无交集的论文之间共享文本:34,286 篇论文中有 43 对,主要是前后相继的巡天星表和数据集发布。其余已排入人工查看队列。
  • 撤稿:184,733 篇有 DOI 的论文中有 13 篇。没有一篇属于 TAPIR。
  • 随论文发到 arXiv 的 TODO 和 FIXME 注释:62 篇。

天体物理学相对干净。不管这批文献有什么问题,都不是造假。唯一明显变化的是用词:“delve”、“crucial”之类词汇在 2025 年的出现频率是 2016 年的 2.5 倍。

真正重要的 200 篇逐行核查

引用分布极不均衡,几百篇论文撑起了整个领域。于是 2006–2019 年被引最多的 200 篇 TAPIR 论文(金色)各配了一名 AI 审稿人,给它 LaTeX 源码和自行计算的工具,并要求它把所有能重算的都重算一遍:重新推导方程、检验极限情形、用论文自己的表格重建数字。它全程盲审,看不到勘误,也看不到后来的论文。

被标记不等于发现问题。这里只把第二位审稿人确认的内容称为错误。

十三处已修正,五十六处蒙混过关

这 200 篇中约 136 篇在首次预印本与正式发表之间做过修改,所以我们用同样的方式读了最早的预印本。13 处经核实的错误存在于预印本中,在期刊版本里已消失,由审稿人或作者复核时修正(紫色)。

56 处通过了审稿并进入期刊(金色)。据此推断,同行评审大约能消除五分之一的错误。这 13 处中至少有两处仍被后来的论文从过时的预印本中照抄。

一个四倍的因子,2005–2014

Smith、Kamionkowski & Cooray 把暴胀遗留的引力波换算成探测器能看到的能量密度。两个二分之一的因子丢了,所以结果大了四倍:分母上是 6,而教科书里是 24。这一处经过了双重核查。用论文自己的公式代入论文自己的数字能重现其结果;同样的数字代入标准公式只得到四分之一。

注意年份的变化。红色论文照抄了这个四倍的因子。绿色那篇在 2008 年指出它是错的。照抄一直持续到 2014 年:六次照抄,一次反对。

查看全部 872 处 →

每一条批评对应五次照抄

然后我们把网撒得更宽。同样的重算并核实检查,用在地图上另外 459 篇仍被引用的论文上,多为被较便宜的一轮初读标记出的高被引论文,又确认了 816 处错误。合计 433 篇论文中 872 处。其中 159 处被照抄——错误数值一并照抄——进了至少一篇后来的论文。按论文计数:

367 篇论文照抄了错误。68 篇提出了批评。

872 处中只有 47 处在印刷文献中被批评过,其中 21 处在被批评后仍继续被照抄,涉及另外 51 篇论文。这些都是下限:我们只读了手头有全文的引用论文。

对领域而言 872 也是下限。地图上的高被引论文中只有 4% 到目前为止接受了彻底检查。按已检查论文外推,本领域被引用 100 次及以上的论文中,未被发现的错误数量约为 34,000 处(25,000–48,000)。这个数字是怎么得出的 →

七年之后,半数错误仍被照抄

同行评审和出版在发现并清除文献错误方面效果如何?我们其实可以测量。

照抄的错误中仍被继续照抄的比例,按论文发表后年数计。色带:95% 区间。有 33 处错误足够久远,可在第 10 年观测到。

文章标题:我让 AI 读了我的领域

正文: 到第 7 年,曲线仍为 52%,在第 8 年越过一半;到第 10 年,为 39%。如果把依赖受影响结果、却未说明使用了哪个值的论文也算进来,则会在第 9 年越线。我们追踪得最彻底的错误存续时间更长,在第 10 年越线:搜索浅一些,找到的晚期副本自然就少一些。

最终阻止错误的是什么?在最仔细阅读的 200 篇论文的 56 个错误中,有 52 个仍存在于最新的 arXiv 版本中,而在那里修正这些错误是免费的。在这最仔细阅读的 200 篇论文中,数据库记录了 2 个勘误。而在确实消失的 87 个错误中,有 67 个从未受到任何人的批评。它们随着子领域向前发展而淡出,而这一过程会以相同的速度淘汰正确答案和错误答案。

截至目前,只覆盖了重要论文的 4%

所有开放全文的论文都经过了筛查和略读。代价更高的检查,也就是重新计算的那种,已经覆盖了 659 篇论文,从被引次数最多的开始。每根柱子代表地图上具有相应被引次数的论文,填充部分表示它们已被阅读的程度。

覆盖率详情 →

一个领域会发展到超出其错误。它很少纠正它们。

所有这些按标价购买的模型时间约花费 $2,720,大约每验证一个错误 $3。实际运行时是在 Claude Max 订阅内完成的。整个项目,包括这个领域和其他领域,大约用了 49 亿 token,以及我在 41 天里约 44 小时的时间。这只是一个领域,由第一代方法阅读,局限已在方法页面上说明。而且它尚未完成:深度检查只覆盖了地图上高被引论文的 4%,且从被引最多的开始。队列的其余部分是预算决策,下一个领域也是如此。

错误由一个 AI 会话发现,并由另一个独立的会话重新推导,且每一个都在期刊发表的版本中得到了确认。其中五个还对照来源逐步做了双重检查。没有任何人检查过其中任何一个。作为测试,随机抽取的 40 个被交给第三个会话,该会话只看到论文和段落:它发现 40 个中有 33 个是错的,因此这里点名的一些错误将经不起审查。如果我们弄错了你的论文,请告诉我们,我们会修正,并说明我们做了修正。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗