一个能够复现、改进和扩展已发表经济学研究的 LLM 工作流
我们推出一个开源工作流,使 LLM 能够利用经济学文章已发表的复现包来复现、改进和扩展该文章。首先,该工作流尝试复现原始计算,检查与已发表发现的差异,并执行自动化敏感性分析。在五本经济学期刊的 4,452 个已发表复现包中,该工作流在 3,460 篇文章或其附录中标记出差异。其次,该工作流通过使用不同的实现或算法来改进原始计算。在 496 篇文章中,该工作流能够在精度相似或更高的情况下,将某项计算的计算时间减少 10 倍以上。第三,该工作流扩展原始分析。在 923 篇文章中,该工作流开发出原始文章中未出现、且与原始文章目标和假设一致的扩展。
- LLM 被用于本文的分析和写作。在本项目中,Schwartz 作为 Anthropic 的承包商工作;结果和观点未获 Anthropic 认可。本文表达的观点是作者的观点,不一定反映美国国家经济研究局的观点。Jesse M. Shapiro 过去曾是 Microsoft Research New England 的有偿访问学者,并曾担任 FutureOfCapitalism, LLC 的有偿顾问。Shapiro 曾受《纽约时报》有偿撰写文章。Shapiro 的配偶在 https://vivo.brown.edu/display/eoster1#Affiliations 发布了披露声明。
LLM 被用于本文的分析和写作。在本项目中,Schwartz 作为 Anthropic 的承包商工作;结果和观点未获 Anthropic 认可。本文表达的观点是作者的观点,不一定反映美国国家经济研究局的观点。
Shapiro 过去曾是 Microsoft Research New England 的有偿访问学者,并曾担任 FutureOfCapitalism, LLC 的有偿顾问。Shapiro 曾受《纽约时报》有偿撰写文章。
Shapiro 的配偶在 https://vivo.brown.edu/display/eoster1#Affiliations 发布了披露声明。
- 复制引用 Matthew Schwartz, Isaiah Andrews, and Jesse M. Shapiro, "An LLM Workflow That Reproduces, Improves, and Extends Published Economics Research," NBER Working Paper 35782 (2026), https://doi.org/10.3386/w35782. 下载引用
- 项目材料公开发布的位置
相关
主题
项目
更多来自 NBER
除工作论文外,NBER 还通过一系列免费期刊传播附属机构的最新发现——NBER Reporter、NBER Digest、Bulletin on Health、Bulletin on the Economics of Alzheimer's 和 Bulletin on Entrepreneurship——以及研究聚焦、讲座和小组视频。

- Feldstein Lecture
- 演讲者:Mark Duggan

- 方法讲座
- 演讲者:Melissa Dell & Ashesh Rambachan

- 演讲者:Paul Goldsmith-Pinkham