Newshot

AI正在摆脱幻觉引用等坏习惯

AI summary

一项分析发现,大语言模型的许多不良行为会在约16个月后消失。

Translation(model translation, not the source's own text)
一张拼贴图:一个人头上顶着一台老式电视机,屏幕上显示着"AI Hallucination"字样,背景是绿色调的二进制代码。
一张拼贴图:一个人头上顶着一台老式电视机,屏幕上显示着"AI Hallucination"字样,背景是绿色调的二进制代码。

Credit: FabrikaSimf/Shutterstock

虚构的学术引用已成为人工智能时代的标志性现象。但它们可能很快就会彻底消失。研究人员发现,最新的大语言模型(LLM)很少——如果有的话——把信息归因于不存在的来源。

这一发现是一项分析的一部分,该分析报告称,许多 LLM 倾向——例如对简单的数学问题过度思考、顺从不合逻辑的请求——会随着 AI 公司发布能力更强的全新或更新模型而随时间消退。其中许多倾向在相关现象首次发表于论文后约 16 个月消失。该分析在一篇博客文章中描述,尚未经过同行评审。

"我们作为这些系统的用户,需要不要对 AI 能做什么和不能做什么持有如此固定的看法,"共同作者、加州斯坦福大学的 AI 研究员 Owen Queen 说。

但 LLM 行为随着模型改进而消退,并不意味着这种效应会立即消失,纽约市哥伦比亚大学的医疗 AI 研究员 Maxim Topaz 说。Topaz 发现1,自 2023 年以来,学术论文中虚构引用的数量急剧上升,原因可能是使用 LLM 的研究人员比以往任何时候都多,而且他们往往没有使用最新的模型。

特征的寿命

Queen 和他的同事确定了 50 种被广泛引用的 LLM 行为,这些行为在 2022 年底(当时首批 LLM 中的一些开始广泛可用)至 2025 年底之间发表于各类出版物。随后,他们向 2024 年中至 2026 年底发布的 20 个 LLM 提供了最初在原始论文中引出该行为的相同提示,以观察这种效应随时间增强还是减弱。例如,他们要求每个模型数出"strawberry"中字母 r 的数量——这是 LLM 曾经觉得困难、但现在能更可靠完成的任务。

在他们检查的行为中,近一半已从较新的模型中基本消失,促使研究人员将这些效应判定为"已过期"。已过期行为的平均寿命为发表后约 16 个月,尽管有些转瞬即逝——模型在该倾向被发表仅一个半月后就不再对简单数学问题过度思考。其他特征则持续存在,例如对黑人女性的刻板印象——不成比例地将她们描述为坚韧——持续了三年多。

尽管大多数重新测试的 LLM 行为已随时间消退,但有三种变得更加明显。如今的模型比过去更频繁地夸赞用户喜欢的东西;LLM 相比其他 LLM 和人类所写的内容,更强烈地偏爱自己的写作;而且 LLM 现在在生成真正随机数字方面比过去更差。

没有虚构?

喜欢我们的最新内容?登录或创建账户以继续

  • 获取 Nature 获奖团队的最新新闻报道
  • 探索涵盖突破性研究的最新专题与观点

doi: https://doi.org/10.1038/d41586-026-03753-1

参考文献

  • Topaz, M., Roguin, N., Gupta, P., Zhanga, Z. & Peltonen, L.-M. Lancet 407, 1779–1781 (2026).Article PubMed Google Scholar

Topaz, M., Roguin, N., Gupta, P., Zhanga, Z. & Peltonen, L.-M. Lancet 407, 1779–1781 (2026).

Article PubMed Google Scholar

  • Walters, W. H. & Wilder, E. I. Sci. Rep. 13, 14045 (2023).Article PubMed Google Scholar

Walters, W. H. & Wilder, E. I. Sci. Rep. 13, 14045 (2023).

Article PubMed Google Scholar

下载参考文献

转载与许可

主题

  • 机器学习
  • 计算机科学

最新内容:

  • 机器学习
  • 计算机科学

文章标题:AI 正在摒弃虚构的参考文献——以及其他坏习惯

正文:

  • 你是初出茅庐的科学侦探吗?来做我们的剽窃测验,检验你的能力 Career Column 18 NOV 26

你是初出茅庐的科学侦探吗?来做我们的剽窃测验,检验你的能力

Career Column 18 NOV 26

  • AI 必须被问责——价值声明无法保护人的尊严 World View 18 NOV 26

AI 必须被问责——价值声明无法保护人的尊严

World View 18 NOV 26

  • 衰老与阿尔茨海默病中下丘脑体积及细胞类型的变化 Article 18 NOV 26

衰老与阿尔茨海默病中下丘脑体积及细胞类型的变化

Article 18 NOV 26

  • 你是初出茅庐的科学侦探吗?来做我们的剽窃测验,检验你的能力 Career Column 18 NOV 26

你是初出茅庐的科学侦探吗?来做我们的剽窃测验,检验你的能力

Career Column 18 NOV 26

  • 向早期职业研究者开放同行评审 Editorial 17 NOV 26

向早期职业研究者开放同行评审

Editorial 17 NOV 26

  • 旧论文的撤稿呈上升趋势:何时应清除糟糕的科学? News Feature 11 NOV 26

旧论文的撤稿呈上升趋势:何时应清除糟糕的科学?

News Feature 11 NOV 26

  • 一个用于自主生物分子操作的 AI 原生实验实验室 Article 04 NOV 26

一个用于自主生物分子操作的 AI 原生实验实验室

Article 04 NOV 26

  • 历史上长期保密的密码正被使用 AI 的业余爱好者破译 News 16 OCT 26

历史上长期保密的密码正被使用 AI 的业余爱好者破译

News 16 OCT 26

  • Margaret Hamilton 讣告:开创软件工程并助我们登月的计算机科学家 Obituary 15 OCT 26

Margaret Hamilton 讣告:开创软件工程并助我们登月的计算机科学家

Obituary 15 OCT 26

Jobs

  • Virus Bioinformatics Lead, Sequence Plus (SeqPlus) Staff Scientist 1 We are seeking a Virus Bioinformatics Lead with expertise in virology and bioinformatics tool development. Bethesda, Maryland National Institutes of Health/National Library of Medicine

Virus Bioinformatics Lead, Sequence Plus (SeqPlus) Staff Scientist 1

We are seeking a Virus Bioinformatics Lead with expertise in virology and bioinformatics tool development.

Bethesda, Maryland

National Institutes of Health/National Library of Medicine

  • 2027 Biology Lecturer job board:https://apply.interfolio.com/56017/positions Wenzhou, Zhejiang (CN) Wenzhou-Kean University

2027 Biology Lecturer

job board:https://apply.interfolio.com/56017/positions

Wenzhou, Zhejiang (CN)

Wenzhou-Kean University

  • 2027 Biology Assistant/Associate Professor job board:https://apply.interfolio.com/56017/positions Wenzhou, Zhejiang (CN) Wenzhou-Kean University

2027 Biology Assistant/Associate Professor

job board:https://apply.interfolio.com/56017/positions

Wenzhou, Zhejiang (CN)

Wenzhou-Kean University

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请完全按照所写的形式使用它们,无论是在回复中还是在工具调用中:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

文章标题:AI 正在摒弃虚构参考文献——以及其他坏习惯

正文:

  • 华中农业大学生物交叉学院全球领军人才招聘 加入 HZAU 全球教职团队,以有竞争力的待遇推进科研。中国湖北武汉 华中农业大学(HZAU)

华中农业大学生物交叉学院全球领军人才招聘

加入 HZAU 全球教职团队,以有竞争力的待遇推进科研。

中国湖北武汉

华中农业大学(HZAU)

  • 博士后研究员 UT Southwestern 血管生物学博士后奖学金,研究心脏代谢疾病的内皮基础。美国德克萨斯州达拉斯 UT Southwestern

博士后研究员

UT Southwestern 血管生物学博士后奖学金,研究心脏代谢疾病的内皮基础。

美国德克萨斯州达拉斯

UT Southwestern

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Nature
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗