
Credit: FabrikaSimf/Shutterstock
虚构的学术引用已成为人工智能时代的标志性现象。但它们可能很快就会彻底消失。研究人员发现,最新的大语言模型(LLM)很少——如果有的话——把信息归因于不存在的来源。
这一发现是一项分析的一部分,该分析报告称,许多 LLM 倾向——例如对简单的数学问题过度思考、顺从不合逻辑的请求——会随着 AI 公司发布能力更强的全新或更新模型而随时间消退。其中许多倾向在相关现象首次发表于论文后约 16 个月消失。该分析在一篇博客文章中描述,尚未经过同行评审。
"我们作为这些系统的用户,需要不要对 AI 能做什么和不能做什么持有如此固定的看法,"共同作者、加州斯坦福大学的 AI 研究员 Owen Queen 说。
但 LLM 行为随着模型改进而消退,并不意味着这种效应会立即消失,纽约市哥伦比亚大学的医疗 AI 研究员 Maxim Topaz 说。Topaz 发现1,自 2023 年以来,学术论文中虚构引用的数量急剧上升,原因可能是使用 LLM 的研究人员比以往任何时候都多,而且他们往往没有使用最新的模型。
特征的寿命
Queen 和他的同事确定了 50 种被广泛引用的 LLM 行为,这些行为在 2022 年底(当时首批 LLM 中的一些开始广泛可用)至 2025 年底之间发表于各类出版物。随后,他们向 2024 年中至 2026 年底发布的 20 个 LLM 提供了最初在原始论文中引出该行为的相同提示,以观察这种效应随时间增强还是减弱。例如,他们要求每个模型数出"strawberry"中字母 r 的数量——这是 LLM 曾经觉得困难、但现在能更可靠完成的任务。
在他们检查的行为中,近一半已从较新的模型中基本消失,促使研究人员将这些效应判定为"已过期"。已过期行为的平均寿命为发表后约 16 个月,尽管有些转瞬即逝——模型在该倾向被发表仅一个半月后就不再对简单数学问题过度思考。其他特征则持续存在,例如对黑人女性的刻板印象——不成比例地将她们描述为坚韧——持续了三年多。
尽管大多数重新测试的 LLM 行为已随时间消退,但有三种变得更加明显。如今的模型比过去更频繁地夸赞用户喜欢的东西;LLM 相比其他 LLM 和人类所写的内容,更强烈地偏爱自己的写作;而且 LLM 现在在生成真正随机数字方面比过去更差。
没有虚构?
喜欢我们的最新内容?登录或创建账户以继续
- 获取 Nature 获奖团队的最新新闻报道
- 探索涵盖突破性研究的最新专题与观点
doi: https://doi.org/10.1038/d41586-026-03753-1
参考文献
- Topaz, M., Roguin, N., Gupta, P., Zhanga, Z. & Peltonen, L.-M. Lancet 407, 1779–1781 (2026).Article PubMed Google Scholar
Topaz, M., Roguin, N., Gupta, P., Zhanga, Z. & Peltonen, L.-M. Lancet 407, 1779–1781 (2026).
Article PubMed Google Scholar
- Walters, W. H. & Wilder, E. I. Sci. Rep. 13, 14045 (2023).Article PubMed Google Scholar
Walters, W. H. & Wilder, E. I. Sci. Rep. 13, 14045 (2023).
Article PubMed Google Scholar
下载参考文献
转载与许可
主题
- 机器学习
- 计算机科学
最新内容:
- 机器学习
- 计算机科学
文章标题:AI 正在摒弃虚构的参考文献——以及其他坏习惯
正文:
- 你是初出茅庐的科学侦探吗?来做我们的剽窃测验,检验你的能力 Career Column 18 NOV 26

你是初出茅庐的科学侦探吗?来做我们的剽窃测验,检验你的能力
Career Column 18 NOV 26
- AI 必须被问责——价值声明无法保护人的尊严 World View 18 NOV 26

AI 必须被问责——价值声明无法保护人的尊严
World View 18 NOV 26
- 衰老与阿尔茨海默病中下丘脑体积及细胞类型的变化 Article 18 NOV 26

衰老与阿尔茨海默病中下丘脑体积及细胞类型的变化
Article 18 NOV 26
- 你是初出茅庐的科学侦探吗?来做我们的剽窃测验,检验你的能力 Career Column 18 NOV 26
你是初出茅庐的科学侦探吗?来做我们的剽窃测验,检验你的能力
Career Column 18 NOV 26
- 向早期职业研究者开放同行评审 Editorial 17 NOV 26

向早期职业研究者开放同行评审
Editorial 17 NOV 26
- 旧论文的撤稿呈上升趋势:何时应清除糟糕的科学? News Feature 11 NOV 26

旧论文的撤稿呈上升趋势:何时应清除糟糕的科学?
News Feature 11 NOV 26
- 一个用于自主生物分子操作的 AI 原生实验实验室 Article 04 NOV 26

一个用于自主生物分子操作的 AI 原生实验实验室
Article 04 NOV 26
- 历史上长期保密的密码正被使用 AI 的业余爱好者破译 News 16 OCT 26

历史上长期保密的密码正被使用 AI 的业余爱好者破译
News 16 OCT 26
- Margaret Hamilton 讣告:开创软件工程并助我们登月的计算机科学家 Obituary 15 OCT 26

Margaret Hamilton 讣告:开创软件工程并助我们登月的计算机科学家
Obituary 15 OCT 26
Jobs
- Virus Bioinformatics Lead, Sequence Plus (SeqPlus) Staff Scientist 1 We are seeking a Virus Bioinformatics Lead with expertise in virology and bioinformatics tool development. Bethesda, Maryland National Institutes of Health/National Library of Medicine
Virus Bioinformatics Lead, Sequence Plus (SeqPlus) Staff Scientist 1
We are seeking a Virus Bioinformatics Lead with expertise in virology and bioinformatics tool development.
Bethesda, Maryland
National Institutes of Health/National Library of Medicine
- 2027 Biology Lecturer job board:https://apply.interfolio.com/56017/positions Wenzhou, Zhejiang (CN) Wenzhou-Kean University
2027 Biology Lecturer
job board:https://apply.interfolio.com/56017/positions
Wenzhou, Zhejiang (CN)
Wenzhou-Kean University
- 2027 Biology Assistant/Associate Professor job board:https://apply.interfolio.com/56017/positions Wenzhou, Zhejiang (CN) Wenzhou-Kean University
2027 Biology Assistant/Associate Professor
job board:https://apply.interfolio.com/56017/positions
Wenzhou, Zhejiang (CN)
Wenzhou-Kean University
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请完全按照所写的形式使用它们,无论是在回复中还是在工具调用中:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。
文章标题:AI 正在摒弃虚构参考文献——以及其他坏习惯
正文:
- 华中农业大学生物交叉学院全球领军人才招聘 加入 HZAU 全球教职团队,以有竞争力的待遇推进科研。中国湖北武汉 华中农业大学(HZAU)
华中农业大学生物交叉学院全球领军人才招聘
加入 HZAU 全球教职团队,以有竞争力的待遇推进科研。
中国湖北武汉
华中农业大学(HZAU)
- 博士后研究员 UT Southwestern 血管生物学博士后奖学金,研究心脏代谢疾病的内皮基础。美国德克萨斯州达拉斯 UT Southwestern
博士后研究员
UT Southwestern 血管生物学博士后奖学金,研究心脏代谢疾病的内皮基础。
美国德克萨斯州达拉斯
UT Southwestern