Newshot

我们能修复 AI 吗?

Translation(model translation, not the source's own text)

我们能修复 AI 吗?

  • 16 November 202

文章标题:我们能修复 AI 吗?

正文: 这就是计划:逐一审视人们在现代 AI(即今天实践中的 AI)里所反对的一切,看看每一项在多大程度上是该技术固有的——是让它运作所必需的——还是仅仅是我们正身处其中的、超资本主义冲向悬崖边缘的产物。

出于我的天真,我一度以为这会是一篇博客文章,但它当然是一个更大的项目。在这第一部分,我们将聚焦于在未经同意的情况下使用受版权保护的数据训练 LLM 的问题,其他问题留待后续文章。

在很大程度上,本文标题中的问题是一个研究问题。对于许多有问题的做法,我们根本不知道能否在没有它们的情况下把它造出来,我们需要去调查。有些部分容易,有些更难。这个系列最可能的结论(假设我能写完)是:值得一试。即使我们无法完全消除所有问题,我们也能消除很多,并且可以继续研究其余的。我们所做的极少有事情是完全无问题的。吃饭、生孩子或从 A 地到 B 地,都会对我们周围的世界产生大量影响。我们研究这些影响,并在能修复的地方修复它们。在无法修复的地方,我们要么谨慎使用技术,要么完全不用。我看不出有什么理由要对 AI 另眼相待。

出于这个原因,我会在具体研究问题出现时用 RQ 标出它们。我认为这将为不久的将来勾勒出一个相当清晰的研究纲领。

那么,进入这篇特定文章的问题:我们能否训练一个代码审查做得和 Claude 一样好、且不使用任何“被盗数据”的 AI?

它是被盗的吗?

伦理与合法性是两回事。某件事可以合法但不道德,或者反过来。不过,在一个运转良好的社会中,它们至少应在某种程度上保持一致,所以首先值得问一问:AI 训练数据在法律上是否算作“被盗”。

AI 模型是在从互联网上获取的数据上训练的。这可以一直追溯到 2018 年的第一个 GPT,它是在可以免费阅读、但除此之外没有开放许可的书籍上训练的。作者没有允许该作品以任何下载者喜欢的方式被再利用,只允许它被阅读。

互联网上的大量内容都是如此。你被允许阅读它,但不允许——比如说——复制它并放到你自己的网站上。这就是眼前的问题。没有明确许可将数据用于训练 AI 模型。

给出反方观点:有些人认为,AI 模型在训练期间消耗数据时所做的事情就是阅读。它过一遍数据,从中学习,记住其中一些,或者记住总体趋势和主题。这正是人们阅读时所做的事情。

如果你持这种观点,那就没有什么“被盗”:公司所做的是一种放大规模的阅读。你可能会说,如此规模的阅读不应受到法律保护,但这是一个新现象,所以法律以何种方式适用并不清楚。

值得精确说明哪些事情在法律上有争议。如果你生产内容并把它放到网上供人阅读,你能禁止人们做的事情是有限度的。版权允许你控制的主要行为是复制、再发布和创作衍生作品。这引出了两个非常不同、而人们常常没有清楚区分的问题。

第一,AI 模型本身是否是衍生作品;第二,AI 模型的输出是否是衍生作品?

模型本身的版权

考虑 GPT。模型本身是硬盘上的一个文件,里面大概是 TB 级别的浮点数排列在矩阵中。这些数字源自大量受版权保护的数据,而其中许多数据大概可以逐字地从这些数字中检索出来。

如果我们把这份文件视为衍生作品,那么 OpenAI 可能会辩称,他们并没有发布任何衍生作品。他们从不向任何人展示自己的模型,所以他们什么也没有发布。这里一个明确的先例是搜索引擎的工作方式:它抓取万维网,把全部内容下载下来,并以一种支持关键词搜索的格式保留本地副本。这是受版权保护数据的本地副本,而跨国公司正是建立在这种做法之上。

在欧洲,把大量受版权保护的数据收集到本地数据库中本身是不被允许的:你这么做的原因很重要。搜索引擎运营者仍然可以这样做,是因为对某些用途作出了例外规定。

在美国,有一种合理使用原则,允许在未经版权持有人同意的情况下以多种方式使用受版权保护的材料。可以用各种论点来主张合理使用:非商业活动、小规模或个人使用等等。针对 AI(以及搜索引擎)的论点是,对数据的使用具有转换性。搜索引擎为一本书建立索引,会以某种方式改变数据的性质和使用方式——或者按照这种论点来说——使得原版权不再适用。

搜索引擎索引正是这样被证明正当的,公司也正是这样试图为 AI 模型的训练辩护。在美式司法辖区,尝试的正当化理由是合理使用。在欧式司法辖区,原则上不允许,但为新出现的技术创设例外条款很常见。

这说明我们的问题——AI 能否被修复——实际上有多重要。如果我们无法在不进行这类版权侵权的情况下构建 AI,并且我们同意我们需要 AI,那么我们就发现自己正处于万维网起步时的处境:我们需要一项例外,否则我们就不能拥有这项技术。或者更现实地说,我们需要一项例外,否则我们就被迫依赖美国公司。

然而,如果 AI 可以在不侵犯版权的情况下以合乎伦理的方式构建,那么我们就不需要例外;而且,我们确实可以要求美国公司,如果想在欧洲部署模型,就必须在不侵犯版权的情况下训练模型。核心问题是,受版权保护的数据是否是关键要素。我们需要先知道这一点,才能对法律应当是什么样子作出知情决定。

输出的版权

当我们看 AI 模型的输出时,情况就变了。不久前,你还可以让 ChatGPT 给出《阿根廷,别为我哭泣》的歌词,它会忠实地生成出来。这是对受版权保护数据的一次明确、未经授权的公开再发布。此外,即使我们允许收集和使用训练数据,这种情况仍然会发生。如果你主张合理使用——或者如果欧洲为 AI 训练引入例外——那么 OpenAI 在其模型生成歌词并发送给我的那一刻,仍然构成版权侵权。

简而言之,一家可以合法地使用受版权保护数据训练 AI 的公司,如果模型在托管时决定逐字吐出这些数据的副本,该公司仍可能承担责任。鉴于目前 AI 护栏的可靠性并不稳固,这应该会让 AI 公司头疼。

法律的精神

理解这一切是有用的,但它掩盖了也许最重要的问题。我们在这里看到的是人们对 AI 做法的愤怒,而这种愤怒超出了法律技术细节。人们本着善意把自己的内容放到互联网上,用于某种特定用途,然后这些内容被大规模抓取,并以人们想象不到的完全不同的规模被再次使用。

这就是伦理问题。如果做这一切是合法的,那主要是因为法律确立时这项技术还不存在。我们仍在弄清楚法律对搜索引擎究竟是怎么规定的。如果它是合法的,那也是因为一个技术性细节。

本文的问题是,我们能否在不顾其法律地位的情况下,构建没有那种背叛感的 AI。本系列的这一部分要问:我们能否仅使用被自由且乐意地提供、可用于任何用途的数据来构建 AI?

Common Pile

这里一个非常清晰的起点是 Common Pile:它汇集了网络上几乎所有的文本内容来源,这些内容要么属于公有领域,要么采用宽松许可证(通常是某种形式的 Creative Commons)。它包括:

  • 所有 Wikimedia 项目。Wikipedia、Wikibooks、Wiktionary 等。不仅是它们的内容,还有它们的讨论页和社区页面。
  • 所有 StackExchange 内容。
  • Project Gutenberg 上的所有书籍。
  • ArXiv 上的许多研究论文。
  • 美国专利数据库。
  • Github 上开放许可的代码、议题和拉取请求。
  • 来自公共聊天室的各种日志,比如 Ubuntu IRC 频道。

Common Pile 的构成。作者:Kandpal (2025)。

把所有这些放在一起,会得到 8TB 的文本数据。很可能,这已经接近所有开放许可数据的总和(至少就英语而言)。Wikipedia、StackExchange 和 Github 可能是任何 AI(不只是开放许可的那些

我们能修复 AI 吗?

这里,模型与输出之间的区别变得重要。如果我们训练一个模型,并且我们认为那是衍生作品,那么它应该以 CC BY-SA 许可。然而,如果我们不分发该模型,那么就没有这样的义务。如果我们只是托管一个 ChatGPT 风格的机器人,那么我们应该担心的只是输出。机器人产出的东西。如果那些输出源自 Wikipedia 数据,那么机器人应该引用相关的 Wikipedia 页面,并将其自己的输出以 CC BY-SA 许可。

两条路径都将我们带入棘手的领域。如果我们在多个具有不兼容许可证的数据源上训练一个大型模型,那么模型本身——如果我们认为它是衍生作品——就不能合法地发布。

这主要意味着,如果我们想要发布该模型,并且我们想要做到恰当的伦理和合法,我们应该比 Common Pile 的创建者更加小心许可证问题。Wikipedia 和 StackExchange 都是 CC BY-SA,所以那可能应该是骨干。对于代码、论文和其他来源,任何与此不兼容的内容都应该被排除。这仍然留下了像 MIT 许可证和公有领域来源这样的东西,所以我们可用的数据数量级可能不会改变。

许可模型输出

像这样的 AI 模型的训练方式,无法将某个特定话语归因于训练数据的任何特定部分。我们不太可能永远能够干净地做到这一点。

我认为,这里一个好的选择是提供一种尽力而为的事后归因。你可以将训练数据存储在某种神经或向量数据库中,并针对聊天机器人做出的每个响应,查询它是否与训练数据的某个部分实质上相似。如果是,你可以在输出中添加一些带有归因的文本。这种指纹识别已经在像 YouTube 这样的平台上用于检测受版权保护的内容,所以它似乎是一种在规模上操作版权合规的合理方式。

许可证的另一面是,输出随后应该以 CC BY-SA 许可。这与聊天机器人当前的内容政策冲突,这些政策通常将版权授予用户。不得不告诉用户:不要重复使用这段特定文本,除非你以如此这般的方式许可它,这在简单的 UI 中是一件棘手的事情。

然而,我认为这是一个极小的问题。对于一个运行良好的聊天机器人,所有输出都应该清晰且可证明地在法律上不同于训练数据的任何部分。如果是这种情况,用户几乎永远不会看到当前答案受 CC BY-SA 版权保护的警告。

RQ 1 我们能否检测出来自 AI 的话语,这些话语在法律上被视为数据集特定部分的衍生作品?我们能否在常数时间内大规模地做到这一点?

请注意,这并不像基本的模糊字符串匹配那么简单。想象一个 StackExchange 答案围绕一个非常精心选择的例子或一系列关键论点写成。如果一个 AI 拿这样的帖子并重复使用该例子,或按顺序重复使用论点列表,但除此之外重写每一个词,它仍然会是衍生作品,并且仍然需要给予署名。

好消息是,LLMs 可以在高语义层面上表示文档,独立于表面形式。一个具有良好文档嵌入的神经数据库应该能够检索出与数据集部分共享相同表面语言以及共享相同内容的候选。基于这些候选,一个“推理” AI 可以在必要时做一个简单的遍历,以确认任何深层或严重的衍生实例。

你可能会反驳说,这将始终是尽力而为的。总会有假阴性,即系统产生了衍生内容却没有标记它。

我们能修复 AI 吗?

我的第一反应是,尽力而为远比我们现在的状况好得多。相比我们当前的做法,我更希望有一个至少能尝试这件事、看看我们能做得多好的世界。如果人们觉得自己的内容应该被引用,这给了他们一种补救手段。

为了遵守 Creative Commons 署名要求而构建这一切,可能显得过度,但还有许可证洗白的问题。尽管我们尽了最大努力,未经许可的数据仍可能进入训练数据。想象一个 AI,不是隐藏其训练数据,而是明确指出其输出与数据重叠的位置,并允许用户将其移除。我认为这将在重建对 AI 缺失的信任方面大有帮助。

第二点要记住的是,我们可以把假阳性/假阴性权衡大幅偏向假阳性,而无需任何实际成本。也就是说,如果系统错误归因,说“此回复可能包含以下 Wikipedia 页面的内容:……”,造成的危害很小。

最后,再次注意,在一个运行良好的 AI 中,这种情况应该很少发生。AI 应该始终泛化。如果这没有自然发生,我们现在有一个检测失败的系统。这意味着系统本身可用于帮助训练 AI 远离版权侵权。

弥合数据差距

Common Pile 是 8TB 文本。这提供了 2 万亿 token 的原始数据,在经过过滤、去重和对低质量数据欠采样后约为 1 万亿。

关于给定训练数据量应训练多大模型,有几条指导原则。遵循成熟的 Chinchilla 规律,1 万亿 token 对应约 50B 参数的模型。这意味着我们应该能在过滤后的数据上训练 50B 参数模型,如果重复一些数据并降低混合强度,也许可达 100B。

作为参考,GPT-3 是 175B 参数。然而回想起来,相对于数据量它有点过大,所以 Common Pile 可能让我们达到 GPT-3 的水平。不是“前沿 AI”,但只差大约一个数量级。

因此,如果我们局限于开放数据,我们与当前前沿模型之间会有差距。我们有哪些选择来弥补差异?

合成数据

使用合成数据的想法常被嘲笑。毕竟,如果你有一个能生成数据的模型,那么从合成数据中学习的“学生”模型怎么可能变得比生成数据的“教师”模型更丰富或更好?换句话说,如果你有能生成完美训练数据的东西,那你不就已经解决了生成式 AI 任务吗?

尽管如此,完全在合成数据上训练的模型已显示出显著前景。一个例子是 TabPFN:一种用于数据表的基础模型。它完全在合成生成的随机数据表上训练。关键在于,这些表并非被调整为逼真的数据表。它们不针对特定领域,也不一定看起来像真实数据。它们只包含随机生成的模式,从大量可能模式空间中采样。模型学会的是识别模式并延续它们。

训练后,模型会看到一个真实世界表格的第一个示例,其中一些单元格缺失,它预测应填入该单元格的值。

在最近的工作中,我们表明这也可应用于 GPT 风格模型。我们可以采样富含计算结构的随机符号序列。在此类数据上训练模型教会它识别计算模式——比如字符 $ 后面总是跟着 T 或 _。具体细节因样本而异,但模式有助于预测序列这一总体思想是普遍的。

那么,合成数据的诀窍不在于尽可能仔细地对目标领域建模,而在于投入算力。合成数据的生成器可以随心所欲,不需要任何真实性的东西,但它计算得越多,数据就会越丰富,模型学到的也就越多。

当我们用大量数据预训练模型时,我们教它做两件事。第一,我们训练它成为模式识别器:它识别输入中的任何模式,并延续下去。这可以是自然语言,但也可以是括号匹配或有效的计算机代码。第二,我们训练它摄取世界知识:埃菲尔铁塔在哪里,《大白鲨》的导演是谁,等等。

对于第二个目标,我们需要真实世界的数据。任何合成数据都无法给我们世界知识。但对于第一个目标,模型需要看到的只是带有模式的数据。序列开头发生的任何事情,在某种程度上都需要能够预测序列的结尾。这可以是字符频率,也可以是括号匹配。对于这个目标,我们需要的只是大量带有大量不同模式的数据。

一旦你训练好模型进行模式识别,你所需的真实世界数据量应该会大幅减少。

自我对弈

AI 模型通常分两个基本阶段训练:预训练和微调。在预训练中,大量文本数据被输入模型,它所做的只是尝试根据前面的 token 预测下一个 token。大多数(不准确的)对 AI 的批评,比如“它不过是个高级自动补全”和“它只是统计分析”,都源于此。这些说法对刚完成预训练的模型来说或多或少是对的。

预训练之后是微调。这个下一 token 预测器被训练来遵循指令,并表现得像一个有用的聊天机器人。这从根本上改变了它的本质。微调之后,它不再是一个下一 token 预测器。

起初,微调只是缩小上下文范围的一种方式。预训练模型给出了语言被使用的所有上下文(至少在网络上的)上的下一 token 分布,而微调将其缩小到预测一个智能聊天机器人会说什么这一特定上下文。这给了你一个基础聊天机器人,但不一定是一个行为良好或擅长编程等任务的聊天机器人。对于最后一步,你实际上给聊天机器人设定一个任务,让它生成输出,然后直接根据它是否成功解决任务来训练。你不再检查它是否预测了正确的下一 token,你只在最后检查任务是否被正确解决。

这就是强化学习(RL)的用武之地。这是一种更昂贵的训练形式,它根据模型在经历一长串动作后才获得的奖励,直接调整模型的可观察行为。

当推理轨迹被发明出来后,强化学习变得更加相关。推理轨迹让模型生成一系列输出,这些输出被特别标记为非最终输出。通常它们被放在像 <think> 这样的标签之间。模型生成一连串这样的内容。它们可以是输出可能是什么的一种草稿,但也可以采取一种内心独白的形式,比如 <think>用户要求推荐一家素食餐厅。我应该查询网络,确保我只推荐真实的素食餐厅。</think>

只有在生成了一堆这样的内容之后,模型才会生成展示给用户的最终输出。

基本的推理行为在预训练阶段之后就已经可以被激发出来。然后,强化学习可以用来让推理轨迹更长、更深、更强大。

这张图提示了另一种弥合与前沿模型差距的方法。我们当然可以用强化学习来奖励已解决的任务、惩罚未解决的任务,但如果我们知道更长的推理轨迹能比短的给出更好的答案,我们也可以取模型在长轨迹之后给出的答案(无论对错),并训练模型在更短轨迹之后给出那个答案。也就是说,我们把长思考模型当作短思考模型的示例。

我们需要的只是一个困难的问题。我们甚至不需要答案。我们可以简单假设长思考模型比短思考模型产生更好的答案。

这是一个自我改进算子的例子。这类算子最早(或至少是普及)出现在 AlphaGo Zero 中:它是 AlphaGo 的后续版本,仅通过自我对弈就学会了玩顶级围棋。其思想是,如果你有一个策略——某个查看棋盘并建议落子的程序——那么你可以用该策略搜索博弈树。经过一些搜索后,你能想出一个总是至少与策略原先建议的落子一样好的落子。因此,博弈树搜索是一个策略改进算子。你实际上不需要自我对弈,你只需看看当前神经网络建议哪一步,用你的策略改进算子搜索更好的落子,并训练神经网络改为走那一步。你需要的只是一个有趣的棋盘局面作为起点。

我们可以遵循这一理念来缩小差距。我们用公开许可的数据训练,并用合成数据增强,得到一个相当于 GPT-3 的模型。我们针对指令遵循和推理轨迹进行微调。

然后,我们部署强化学习和自我改进算子,从那里继续推进。开放数据可能不足以让我们达到前沿模型的水平,但绝对足以得到一个能进行推理轨迹的模型。从那时起,强化学习和自我对弈应该能在弥合与前沿模型差距方面走得很远。

微调数据

微调和自我对弈同样需要大量数据。在这里,像 OpenAI 这样的公司投入大量资源来创建高价值的标注数据。例如聊天机器人应该如何回答的示例。手工制作的困难问题。这些不是公开的,并且有一些建议认为它们来源不道德 [Dzieza 2023, Perrigo 2023, Tan 2023]。

这是另一个数据差距,其性质与预训练数据差距非常不同。这些数据具体描述了聊天机器人应该如何在上文中表现。它不能只是从网上抓取,需要专门为此目的创建。

作为一个起点,有相当数量的数据是公开可用的(例如 [Zheng 2024])。这将使我们接近填补差距,但肯定不能完全填补。前沿实验室在这些数据集上投入了巨资。

还有一个问题:这些开放数据集是用现有 LLM 的输出构建的,而这些 LLM 又是用(按我们的标准)来源不道德的数据训练的。如果我们在它们上面微调,我们需要以这样的方式进行:实际生成的输出不会“泄漏”到我们的模型中。

RQ 2 我们能否从来自不道德模型的标注轨迹进行微调,使得模型只存储标注,而不存储轨迹的内容?

回到差距:我们还能做什么?一种选择是众包。让人们通过类似 wiki 的平台生成开放数据标注。维基百科是由志愿者众包的,这很可能远远超过所需的数据量。

目前,我的猜测是,这对任何有兴趣生成开放数据的人——比如维基百科人或 StackExchange 贡献者——都会像铅气球一样不受欢迎。这些人恰恰是反 AI 情绪最强烈的人。

然而,如果叙事改变呢?如果我们展示出我们能够构建合乎伦理的 AI 呢?我们能够安全地部署它,而且更重要的是,生产合乎伦理的 AI 会削弱闭源、不道德的实验室,因此它甚至可能被视为一种反击方式。

一个可能至关重要的考虑是,微调正是决定 AI 价值观的地方。它在回答中本质上是人文主义的吗?它在多大程度上顺从政府?可以说,这些价值观被决定的方式目前并不透明。Anthropic 对人文主义 AI 做出了一些承诺。Elon Musk 明确试图让 Grok 尽可能“非觉醒”。实际上,我们甚至不知道自己对这些价值观有多少控制权。

开源努力至少可以让这个过程透明。也许,这样一个承诺——一个合乎伦理、以透明方式构建的 AI,并对其价值观进行公开、富有成效的讨论——能够吸引人们参与一个开源标注项目。

我不知道。我怀疑很多人仍然会说“我不想要任何 AI”。但也许,会有足够多的人作出贡献。早期的 Wikipedia 由数百名专注的志愿者组成的核心,以及数量多得多的偶尔贡献者共同构建。如果我们能产生那样的兴趣,就有机会。

弥合知识差距

我们的假设是,词元有两个用途。第一,教模型一种通用学习能力,并教它现实世界知识。如上文所述,一切迹象都表明,我们可以用合成数据混合约 8TB 的自由许可数据来训练模型做到这一点。

我们从训练词元中得到的第二样东西是现实世界知识。Wikimedia 和 StackExchange 中有很多这类知识,但数据的受版权保护部分中还有更多。

例如,想象向一个 LLM 询问关于自制 Kombucha 的技术问题。Cooking StackExchange 在该类别中有 20 个问题,可能涵盖一些基础知识,再加上关于该主题的 Wikipedia 文章,以及一些 CC 许可的论文。

然而,把这一点与曾经写过的所有食谱书相比,包括几本完全专门讲 Kombucha 的书,以及许多对发酵总体进行深入研究的参考著作。再加上该主题的所有科学文献,其中很多都在付费墙后面。

假设一个书籍语料库向已经由 2T 个词元的开放数据组成的语料库再增加 1T 个词元。这会把乐观的模型规模估计从 100B 参数提高到 150B 参数,就数据量而言这并不算多。然而,就锁在那部分数据中的知识而言,它对于让机器人能在各种任务上有用是无价的。

上下文学习

弥合部分知识差距的一种方法是上下文学习。也就是说,在训练完成后,你可以让模型从网页、书籍或代码库中读取内容。当然,这正是我们已经在做的事情。

如果我们开放、合乎伦理的模型足够聪明,那么它应该能够使用工具搜索网页或读取本地文件。特定用户可以让它访问该用户有权使用的受版权保护数据。例如,如果我想让我的模型把 Don’t Cry for me Argentina 的歌词翻译成西班牙语,模型无法从其权重中复现歌词,而且它应该知道不该去查歌词。然而,如果我拥有歌词,我可以把它们给模型。从法律上说,我可以从专辑封套上获取歌词。我也可以决定从网上获取,依赖一次轻微的版权侵权,但在这种情况下,做出这个决定的是我,而不是模型。

写成 {{NAME_ab12cd34}} 这样的值是真实值的占位符。在回复和工具调用中都要完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

我们能修复AI吗?

同样,如果我想在微积分练习上获得一些帮助,我可以让模型访问我所拥有的一本书的副本。这样,我们可以把法律问题从提供方转移到用户身上。每个用户可以在他们能够访问的任何内容上使用模型。一本受版权保护的微积分教科书的 PDF,不再由一家只支付了一本书副本费用的公司大规模使用,而是由各自购买了自己副本的个体用户使用。

上下文学习效果非常好,但有两个问题。第一,随着你展示给模型的内容量——即上下文——增加,性能会下降;第二,计算成本也会随着这个内容量而膨胀。当前可行的上下文比一篇报纸文章长,比一本书短。你无法让你的AI机器人读三到四本你购买的受版权保护的书,然后提出需要结合这四本书中知识的问题。这被称为长上下文问题。

长上下文问题正被热烈研究。它要求模型能够真正消费长上下文而不会使用过高的资源,并且要求模型之后能够真正在如此长的上下文中保留信息。这是整个AI的问题,但对于我们这里描绘的伦理AI图景来说,它稍微更紧迫一些。有一些有希望的线索,并且完全有理由认为我们很快就会攻克它,但眼下它仍然是一个研究问题,而我们上面给自己设定的约束不会有帮助。

RQ 3 在伦理AI的约束下,我们能解决长上下文问题吗?

数据洗白

还有另一种走出知识缺口的方法,但这是一个肮脏的把戏,我不喜欢它。我把它包含在这里是为了完整,也因为它可以成为一种调查工具:一种弄清楚知识缺口到底有多大,以及弥补它需要什么的方法。

它比AI实验室已经在做的事情更符合伦理,但它牺牲了很多阵地。本质上,我不赞成这样做,但我认为调查它没有坏处。

这个想法是从我们的伦理AI自举,以从受版权保护的数据中提取知识。过程大概会是这样的。

  • 仅使用开放许可数据和合成数据构建一个LLM。称之为“洁净室LLM”。
  • 取一个全面的扫描书籍库,比如Anthropic的或Google的。我更倾向于后者,因为他们以非破坏性方式扫描了书籍,但两者都可以。(最有可能的是,该项目还需要再次复现。)
  • 存储这些书,但不分发它们(那是不允许的)。存储在法律上有争议,但之后可以删除或归档数据,以强调转化性方面。
  • 将书籍编码到一个大型神经数据库中,以便可以轻松找到相似主题的文本。
  • 使用我们的洁净室LLM配合一个巧妙的搜索算法,在书籍中找到主张相同或相似事实的段落。注意这只是推理,模型从未在这个数据上训练。
  • 对于在比如3–5个来源中发现的每个事实,提示洁净室LLM生成该事实在法律上不同的摘要,并将其与来源作品的引用一起存储。让它对结果进行推理,以确保摘要与来源在法律上不同。
  • 发布所发现和总结的事实数据集。一种LLM生成的Wikipedia(或Wikidata),但更细粒度。邀请公众对这个数据集进行审视,以确保我们可以声称它不是任何来源的衍生作品。
  • 将其添加到我们的训练数据并重新训练。可选地,GOTO (1)。

你可能只是把这看作对受版权保护数据的洗白。

它只允许事实进入训练数据,不允许任何可受版权保护的内容。洁净室 LLM 在把事实改写成法律上可区分的文本方面有多好,仍是一个开放问题,但这对 AI 来说是一个相对简单的问题,而且可以把它设为明确的设计目标。

它提供来源追溯。如果作者不信任,并担心自己的作品最终还是进入了数据,他们可以直接去查。数据是开放的,参考文献也一并开放。因为这个过程是真正尝试以合法方式做事,我们可以自由地保持开放和诚实,并尽可能提供更多的来源信息。

它让我们能够精确衡量我们在多大程度上依赖受版权保护的数据。分别在有和没有这类数据的情况下训练模型。出于研究目的,你甚至可以用原始的受版权保护数据做一次训练运行,看看可以说你“在洗涤中损失了多少”。

它提供防止泄露受版权保护内容的保障措施。过滤掉只被陈述一两次的事实,不应损害数据的价值,而且很可能让它更可靠。它还确保虚构作品以情节蒸馏后的形式进入数据。许多来源都会声称 Frodo 曾与 Sam 一起前往 Mordor,但 Tolkien 的确切文本不会进入数据,除非某些段落被引用得足够频繁。

该数据集成为一种公共物品。与其用风投资金买下数百万本书、把它们销毁,同时把结果保密,不如把结果作为公共资源提供出来。一个带有恰当引用的事实数据库,除了训练 AI 之外还有许多其他用途。

我能理解人们可能仍然不喜欢这种方法。我自己也不知道我是否喜欢它。这不太像是在尊重数据所有者的意愿,而且它不像上下文学习那样降低 AI 的社会影响。

好消息是它是可选的。构建数据集本身不会造成任何尚未被多次造成的伤害(假设我们以非破坏性方式扫描书籍),所以这似乎是一件相对安全的尝试。在那之后,我们至少可以就是否要使用包含这一组件的 AI 做出知情决定。

这就把我们带到接下来的研究问题。

RQ 4 洁净室 LLM 能否以可靠的方式,从受版权保护的数据语料库中总结并提取事实以及其他不可受版权保护的知识?

RQ 5 提取出的事实能弥合知识差距吗?事实,或者任何能以这种方式总结出来的东西,足够吗,还是还有更多无法这样提取的内容?

好的一点是,我们可以在不使用受版权保护书籍的情况下开始检验这些研究问题。对于一个简单的概念验证,像 project Gutenberg 的一个子集(从预训练数据中排除)就足够了。

还有什么?

令人高兴的是,其中一些工作已经在进行中。我已经提到过 Common Pile。还有一些我所知道的其他倡议,正在做我提到过的一些事情。

Apertus

一个瑞士的语言模型系列,参数规模最高达 70B。与 Common Pile 不同,其同意机制是选择退出式的。如果没有表明用户反对纳入,数据就可能被使用,但检查同意的工作相对严格:检查的是当前的 robots.txt,而不是爬取开始时的那个。

用这种方法,他们得到 15T tokens,而不是我们按照严格明示同意标准得到的 1T tokens,所以我们可以看出,以合乎伦理的方式构建数据的成本并非可以忽略。他们的关注点可能更多在法律而非伦理方面,但在当今格局下,他们仍然是较为合乎伦理的运营者之一。

Common Corpus/Pleias

Common Corpus 是与 Common Pile 并行的一项工作,得出了相似的发现。Common Corpus 是多语言的,因此可能比 Common Pile 有一些优势。

我们能修复 AI 吗?

Pleias 是 Common Corpus 背后的公司,它也发布了一个名为 SYNTH 的合成数据集生成器。从精神上看,它更接近面向世界知识的数据清洗流水线,而不是我为弥合数据差距所建议的那种纯合成数据。

Fairly trained

Fairly trained 不是 AI 的生产者,而是一项认证。具体来说,他们为那些公平地获得其全部训练数据授权的 AI 公司提供认证。由第三方来完成合乎伦理的数据获取验证,是个不错的主意。它还解决了以下问题:允许多少噪声和许可证洗白,以及多大程度上的尽力而为才足以清洗你的数据。选择仍将是任意的,但至少会由独立的第三方来设定。

迄今已获得认证的公司可以在他们的网站上找到。据我所见,目前还没有任何通用测试 LLM。如果有类似 Comma 的东西被商业化发布,那会是一个很好的候选。

结论

那么,我们能修复 AI 的数据问题吗?我们可以达到一定规模——OpenAI 在 ChatGPT 发布时所拥有的规模。从那个规模到前沿,我们存在真正的差距,但有一些有前景的研究方向,或其他有创意的选择:

预训练 对于数据差距,使用合成数据和自我改进;对于知识差距,使用上下文学习和可能的数据洗白。

微调 我们可以依靠众包来弥合差距。这在技术上可行,但当前文化并不支持它,而且我们需要在产品的使用与对产品的贡献之间,建立一种与 Wikipedia 相同的反馈循环。

我希望我已经论证了,缩小差距是有一些希望的,至少可以缩小一部分。最起码,最起码,有一些严肃的研究问题值得调查。我们花了数十亿公共研究经费才走到这一步,为什么不额外推动一下,让我们从可运行的 AI 走向合乎伦理的 AI 呢?

我们不会完全弥合这些差距,原因很简单:世界上的 OpenAI 和 Anthropic 们总能做到我们能做到的事,而且还能多做一点。现在,他们永远不可能比一个严格合乎伦理的 AI 实验室做得更少。

然而,我认为展示我们能接近到什么程度很重要。这些公司捍卫其工作方式的一个重要说法是:如果他们不按自己的方式做,那么 AI 就永远不会发生。我认为这值得检验。

这让我想起 90 年代和 00 年代的一种趋势:通过安装越来越多的风扇,尤其是直接装在 CPU 上,来让电脑更强大。这让制造商可以把机器宣传得比去年的更强大。缺点是,在很长一段时间里,电脑变得极其吵,甚至那些本来完全没有风扇的笔记本电脑也是如此。奇怪的是,我们其实只需要等大约 12 个月,就能拥有无需吵闹的 CPU 风扇也能达到那种速度的芯片。

我认为 AI 也正处在这样的境地。只不过,我们谈论的不是安静的工作空间,而是以谨慎且

文章标题:我们能修复 AI 吗?

正文: 当然,我只是个写博客的普通人。如今的激励已经变成了国际声望,美国和中国都不太可能放弃自己的优势。不过,即便在我们这个不理想的世界里,在众多有妥协的替代方案中,有一个以合乎伦理的方式构建的洁净室 AI,本身就是有益的。首先,并非每个 AI 用例都需要前沿模型。AI 的大量工作是幕后的苦力活。如果我们要求人们至少说明为什么他们需要一个建立在不合伦理做法之上的模型,那么一部分 AI 工作负载就可以转向合乎伦理的模型,并刺激其发展。然后,就只是把百分比朝正确方向移动的问题了。

除此之外,大规模构建的合乎伦理的 AI 的存在,将向我们展示前沿实验室为了微弱的优势愿意出卖多少。在没有明确、热情同意的情况下使用所有这些数据,我们究竟买到了什么?而最终差距会缩小。受版权保护的数据已经在耗尽。我们现在看到的任何进展,都已经建立在自训练、监督,或许还有合成预训练之上。这意味着真实世界受版权保护数据对性能差距的贡献最终会减弱。

这是好消息。坏消息是,这可能是我们重置基础的最后机会,而时间正迅速耗尽。我们正在进入一个 AI 模型相互设计、训练和评估的时代。我们用秘密地在受污染数据上训练的模型这样做的时间越长,我们就越会失去追溯什么来自哪里、以及我们如何走到这一步的机会。一次简单的重置,我们就能拥有一个构建得当、开放的模型生态系统,具备真实的数据来源和可审计性,一路向下直到在 Wikipedia、StackExchange 和 project Gutenberg 上训练的洁净室 LLM。

欧洲目前正在自我反省,思考该怎么做才能赶上美国和中国。大多数情况下,这涉及尝试并失败地追随美国模式或中国模式,两者都围绕快速行动、承担风险并迅速成长的小型初创公司构建。两者都不太适合我们。看看来自欧洲的两个最重要的技术发展:万维网和 Linux 内核。这些不是初创公司,甚至不是公司。它们是透明、开源、开放标准的庞然大物。它们本身不是商业实体,但它们确实支撑着一个经济活动的生态系统。

对我来说,这在欧洲比少数私人资助的公司构建完全相同的数据集和模型、买下所有相同的书籍并摧毁仅存的少数副本要有意义得多。

一旦建成,合乎伦理的 AI 不需要匹配前沿模型。稍差一点也没关系,只要它能削弱前沿实验室。只要它存在,并且可证明更合乎伦理,公共机构就会强制要求使用这个 AI,除非它不合适。它将接管适合它的细分市场。

不管怎样,版权只是 AI 的一个方面。还有许多其他问题。在使用受版权保护的数据之后,最常出现的大概是对气候变化的影响。或者,更一般地说,是环境影响。我们将在本系列的下一部分讨论这一点。

除此之外,欢迎联系我,提出你对 AI 的主要批评。我希望这个系列是完整的,我承诺以开放的心态对待每一个批评点。我的希望是,大多数问题可以通过以更好、更周到的方式构建来解决,但如果不是这样,我会举起双手,承认这项技术存在根本性问题。

References

[Dzieza 2023] Dzieza, J. (2023, June 20). Inside the AI factory. New York.

[Perrigo 2023] Perrigo, B. (2023, January 18). Exclusive: OpenAI used Kenyan workers on less than $2 per hour to make ChatGPT less toxic. TIME.

[Tan 2023] Tan, R., & Cabato, R. (2023, August 28). Behind the AI boom, an army of overseas workers in “digital sweatshops”. The Washington Post.

[Zheng 2024] Zheng, L., Chiang, W. L., Sheng, Y., Li, T., Zhuang, S., Wu, Z., … & Zhang, H. (2024, May). “Lmsys-chat-1m:一个大规模真实世界 llm 对话数据集。” 载于 International Conference on Learning Representations(第 2024 卷,第 22225-22257 页)。

[Kandpal 2025] Kandpal, N., et al. (2025). “The Common Pile v0. 1:一个 8TB 的公有领域和开放许可文本数据集。” 载于 The Thirtyninth Annual Conference on Neural Information Processing Systems Datasets and Benchmarks Track。

常见问题

如果一个符合伦理的非前沿 AI 真的会带来所有这些改变,那为什么 Apertus 没有引起更大的轰动?

公平地说,Apertus 还很年轻。可能需要时间,还需要再多几个模型。但实际上,我认为,尽管他们在商业上选择了一个很好的细分领域,但他们妥协太多,无法真正获得像 Linux 内核或 Wikipedia 那样的项目所拥有的草根支持。而这是我所能看到的、获得前沿模型所需的那种微调数据和标注的唯一途径。

我的希望是,随着 AI 越来越成为日常生活的一部分,并且它的实用性对许多人来说变得更加清晰,在绝不使用 AI 的人群和那些盲目追捧的人之间,会出现一个中间地带。

这些人乐于使用 AI,但对它的构建方式感到不安,就像 90 年代人们在电脑上安装 Windows,却对 Microsoft 的商业行为感到不安一样。

到那时,也许就会有足够的支持来开发一个完全符合伦理构建的开源 AI。

我觉得你这里漏了一招。为什么不拿一个现有模型,从它那里蒸馏?或者让它编写训练任务?

如果那个模型使用了受版权保护的数据,那么在我看来,那种做法就不干净。问题在于,我们能否在构建 AI 的过程中,任何地方都不采取任何在道德上有问题的步骤。这意味着我们需要从头重建,而且每一步都需要可溯源且可审计。

欧洲真的能训练一个前沿模型吗?我们有没有足够的算力集中在一个地方?

不能。如果欧洲想以领先规模训练一个模型,它有两个问题:(1)所有欧洲拥有的算力加在一起,很可能也不足以训练一个前沿模型;(2)这些算力并不都在一个地方。对于(2),有希望跨数据中心训练是有效的,一些实验室已经在这样做,但理想情况仍然是尽可能把更多算力集中在一个地方。

如果欧洲想完全自主地做到这一点,就需要投资建设少量大规模集群。你可能会想:“嘿,我们建成了 LHC,区区一个超大规模数据中心相比起来肯定只是小钱。”我也曾这么想,但遗憾的是,一个能够训练前沿模型的现代数据中心,比 LHC 贵了几乎一个数量级。

有些项目正在筹备中(Mistral 的目标是到 2030 年拥有 1GW 算力,分布在多个站点),而且如果我们愿意在自主性上妥协,总可以选择租用,但就目前而言,不行,我们现在无法一路走到底。

不过请注意,这只是训练阶段的问题。模型完成之后,推理可以非常高效地分布式进行,许多小型集群就足够了。

你的动机示例(代码审查)难道不需要绝对的最前沿吗?那不就意味着你还没开始就已经输了吗?

我们能修复 AI 吗?

This is a valid point, but it’s not a given. 是的,如果攻击者使用以不合伦理方式构建的最前沿模型,而开发者使用以合乎伦理方式构建的次前沿模型,那么与开发者同样使用最前沿模型时相比,这会给攻击者优势。然而,没有 AI 时,情况也已经是不对称的。如果一名程序员对抗一名攻击者,两者同样聪明,程序员占优势。攻击者只有在比程序员更聪明,或有很多系统可测试时才赢。AI 在两方面让攻击者获益:它让他们更聪明(或以更多不同方式变得聪明),并赋予他们规模:他们可以更快地对更多系统发起复杂攻击。

所以,如果合乎伦理的模型与前沿模型之间存在差距,那么是的,这会转化为程序员与攻击者之间的差距,但这未必会显然是同等量级的差距。很可能一个简单的审查模型就能让大多数代码完全安全,即使面对非常老练的攻击者也是如此。我们不知道。就我们的启发示例而言,我会说,这足以开始调查合乎伦理的模型与非伦理模型之间的能力差距有多大。

尾声:多模态模型

现代 AI 机器人不只是文本模型,它们是多模态的。最重要的模态大概是图像。如果我们想以合乎伦理的方式训练一个图像-文本模型,即 VLM,我们有需要的开放数据吗?以下是要点。

可用的基线数据比文本领域稍差一些。最好的开放许可图像

强化学习和自我改进或许也能在这方面帮到我们,前提是我们能处理得足够巧妙。

我们最终可能会得到一个仅在文本方面有竞争力、在图像理解上略微落后的模型。对于识别图像中的文字这类特定任务,这应该绰绰有余。对于像识别植物种类或诊断食谱失败原因这样的使用场景,可能会存在明显的性能差距。

免责声明:AI 使用

AI(具体是 Claude)在撰写这篇文章时按照本文概述的原则使用。所有想法和文字都是我自己的。我用 Claude 进行审阅、做初步事实核查,并回答基本问题。Claude 提出的所有进入文本的建议都用非 AI 方法验证过。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗