Newshot

困惑度与智能

Translation(model translation, not the source's own text)

文章标题:Perplexity and Intelligence

正文:

MedChemBench:为药物化学领域的人工智能建立基准——封面
MedChemBench:为药物化学领域的人工智能建立基准——封面

从远处看,现代人工智能的构建方式似乎与过去几十年软件的构建方式相似:使用多种针对特定能力的技术。确实存在各种各样的方法,但它们大多并非从零开始设计,而是利用来自一个更简单、也更难以解释的过程的智能:在非常大的数据语料上训练一个压缩器(或者等价地⁠(在新窗口打开),一个预测器)。1

我相信,追踪训练更好压缩器的进展速度,是理解人工智能发展轨迹的关键。在这篇文章中,我主张将困惑度(或者等价地,交叉熵损失)确立为一个指标,用于比较不同模型开发者之间的进展,并为共享的安全标准提供依据。作为第一步,我提供更多关于 OpenAI 预训练进展的透明度。发布我们内部的困惑度测量数据需要一些考量;这会让竞争对手更清楚地了解我们所处的位置,但相比在整个行业建立共享⁠(在新窗口打开)安全措施的紧迫性,这种担忧是次要的。我们 OpenAI 希望这能成为朝着为未来节奏控制努力构建共享科学基础迈出的一步。

对人工智能发展的一种简化但根本上富有启发性的观点是:首先构建一台大型计算机,然后用它在一个大型非结构化数据集上预训练一个模型(压缩器),接着在不同情境中应用各种技术——如提示、微调或强化学习——来激发该模型的潜在能力。算法进步可能会模糊训练阶段之间的界限,但我们仍然可以区分出具有难以预测的涌现能力的人工智能的创造(我此前称之为“异类心智⁠”)以及随后的有针对性的能力激发。

多年来,我们衡量这一关键“智能基底”进展的主要方式一直 remarkably 稳定——我们一直在追踪模型在留出数据集上的困惑度。2, 3 困惑度衡量的是模型平均而言预测下一个 token 的好坏;困惑度越低意味着预测越好。本博客文章开头的图展示了这一指标从 GPT‑3.5 开始在我们的模型上的演变。

主要由这一个指标描述的模型能力范围令人惊叹。在较旧的数据集4上创下新的困惑度最先进水平时,GPT‑2 可以说是第一个能够持续组织出连贯段落文本的模型。下一个重大飞跃 GPT‑3 能够在给定任务的一些示例后进行上下文学习。GPT‑3.5 在我们当前主要评估数据集上的对数困惑度约为 0.99,能够进行流畅对话,并构成了原始 ChatGPT 的基础。GPT‑4 约为 0.91,擅长有效地利用思维链推理,这促使了随后对这一能力的有针对性激发以及现代推理模型的创建。现在,随着我们的损失降到 0.8 以下,我们已经在网络安全和数学等领域看到了变革性能力的出现。我想再次强调,先验地看,一旦达到那些精确的困惑度阈值,这些能力是否会出现完全不清楚——它们从根本上可以被看作是在这一个指标上取得进展所带来的涌现潜在能力。

随着人工智能非常迅速地发展,我们衡量下游能力的范围和方法可能会迅速变化。用大多数现代基准来评估 GPT‑2 和 GPT‑3 几乎没有意义;而当时使用的基准在 GPT‑4 附近大多已经饱和。相比之下,我认为关注预训练的进展可能仍会保持信息量。

Perplexity and Intelligence

进展速度的一项特殊变化,来自 AI 对自身发展的贡献日益增加。最常被讨论的指标,集中在 AI 于开发周期的各个阶段增强并替代人类研究人员;而最终的拐点被认为是“完全递归式自我改进”,届时整个过程将完全自动化,不再需要人类监督。除了认为这样一种状态显然是我们为了维持人类控制而应当避免的之外,我觉得这种总体框架遗漏了某些关键之处。一个潜在的阶跃式变化,可能来自 AI 参与开发过程中一个关键环节:关于预训练的算法研究。

我们最近在另一个领域目睹了前所未有的加速。一年多以来,我们一直把数学中的开放问题抛给我们的模型,作为评估它们的方式之一。当我们升级到 log-perplexity 约 0.76 的模型后,它开始产出突破性的结果。对于我们当中许多曾在数学及相关领域工作过的人来说,看到我们长久思考过的问题的解答,在一个 Slack 线程里接连从模型中涌现出来,感觉极其超现实。有过这样的经历,就让我们得以外推——这样的骤然转变在深度学习研究中也是可能的。尽管这个领域更依赖实验,但长期以来一直有简单的洞见被忽视多年的历史;因此最早在 2027 年,我们就有可能看到类似的、基础性预训练进展的雪崩式涌现5。虽然我也预期 AI 会显著推动对齐与监控方面的进展,但我认为那方面的进展不太可能快到足以让预训练释放出全部潜在加速。

鉴于新的、令人惊讶的能力主要通过压缩的进展而涌现,一个根植于 perplexity 的度量可以为我们提供一个关于通用智能的共同基准,无论开发过程的自动化程度如何。从近期的进展外推,随着我们进入 log-perplexity 约 0.68-0.7 的区间,我们应当预期出现进一步的变革性能力。我不知道那些能力会是什么,我们今天可能也并未在针对它们做测试。与此同时,我们也应当预期当前占主导地位的对齐审计形式会进一步退化⁠(在新窗口中打开),并且评估与训练意识会进一步增强。我认为前沿模型开发者应当共同努力,在模型首次被使用之前,就如何评估此类模型以及如何对其进行安全红队测试建立共同规范,包括共同的透明度标准。我进一步提议,基于 perplexity 及其他测量指标设定共同的上限,开发者承诺在我们理解和监控 AI 行为的能力达到某个具体里程碑(例如开发出 CoT 监控器的后继者)之前不越过该上限。也就是说,我希望有一个行业标准,规定发展的第一道上限,由我们能在各实验室之间追踪的某个关键指标来衡量,并规定在越过它之前我们具体需要达成什么。我希望这能为建立一个共同框架铺平道路,用以设定接连的上限并为后续发展定下节奏。

Perplexity 作为一项共同指标存在一些挑战:

  • 跨实验室比较的困难。不同的开发者使用不同的评估数据集,并在不同的数据混合上训练。这里,我们报告的是我们一直在追踪的主要数据集上的数字;我相信,如果我们确立透明度的目标,我们就能找到可迁移的方法来比较不同基础模型的质量。
  • 与可操作的评估脱节。Perplexity 并不直接对应我们关心的某项任务。关心它的理由是,我们可以预期它上面的进展会带来全新能力的涌现。

文章标题:困惑度与智能

正文:

  • 未考虑预训练之外的进展。最值得注意的是,思维链推理并不会降低模型所达到的困惑度,尽管它会带来能力的急剧提升。
  • 未知的下限。我们不认为有可能实现损失为 0,那将相当于能够完全确定性地预测数据集。但我们不知道数据的固有熵是多少。随着我们接近它,困惑度上的表面进展将会放缓,但困惑度上更小的增益将对应模型智能上更大的飞跃。

与此同时,困惑度作为一种许多研究团队投入大量精力去优化的指标,已经经受住了时间的考验,并且它继续在通用智能上带来持续的增益。我相信它可以在标准化我们谈论 AI 进展的方式上发挥重要作用,并希望看到整个行业对此有更多的透明度。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗