Newshot

猴子、图书馆与人工智能

Translation(model translation, not the source's own text)

文章标题:猴子、图书馆与 AI

正文: 我们都读过无限猴子定理。无限多的猴子在打字机上打字,最终会重新写出所有曾经写就的最伟大作品。理论上,那些猴子也会写出所有将来会被写就的最伟大作品。虽然这是一个有趣的思想实验,但它几乎没有实际应用。我们永远不会有无限多的猴子,也不会有无限的时间和无限的资源去检查它们的成果,并分辨好输出与坏输出。

巴别图书馆与之十分相似。一座无限大的图书馆,其中藏有由已知语言字符集和图形符号的所有可能组合构成的书籍。巴别图书馆会包含一个子集,其中的书籍囊括了宇宙中的全部知识——正如这些语言所代表的那样。正如没有人能检查所有猴子的作品一样,也没有人能读遍整座巴别图书馆。如果你拥有巴别图书馆,你就会拥有对每一个可能问题的全部答案,却依然一无所有。

LLM 在某种意义上算是巴别图书馆的前身。在它们由词语和字符(token)构成的庞大多维向量空间中,蕴藏着我们能够公开积累的全部知识。除了一些小众的边缘案例,当代 LLM 拥有的向量指向了人类大多数最伟大的书面小说、科学、经验等等。

我可以让 LLM 续写这个故事:

BERNARDO. Who’s there?

假设我提示它只是续写故事,而不试图给我提供背景,它会返回:

FRANCISCO. Nay, answer me: stand, and unfold yourself.BERNARDO. Long live the king! …

FRANCISCO. Nay, answer me: stand, and unfold yourself.

BERNARDO. Long live the king!

那里——在它的嵌入之中——是莎士比亚的《哈姆雷特》。按理说,一个与《哈姆雷特》相似的故事离得也不远。如果我能用手指在向量空间中描画,我就能找到另一部受莎士比亚启发的伟大作品的文字。也许 17 世纪某个可怜的、未被发现的剧作家写了《哈姆雷特 II:死者归来》——一部会让他们 17 世纪的头脑大为震撼的动作惊悚片。LLM 不是无限的。它们必然是建立在已有作品之上的衍生。所以我们永远(就目前而言)不会真正看到 LLM 产出全新的东西。向量图实在过滤得太厉害了。它只包含人类写就的作品。当然,我们尝试混合搭配页面、词语、想法等等。但如果我们混合搭配得太多,就会失去上下文、说服力和逻辑。我们没有无限的资源去验证好与坏。那个 elusive 的递归自学习 LLM 也许能替我们做到这一点,但它也许永远无法理解真实与虚构、有趣与乏味、美与丑这些二元对立。

今天,我们可以走过 LLM 图书馆并挑出书籍。就其本质而言,它们全都是我们以前见过的东西的衍生,但它们有时会让人感觉新颖或原创。LLM 图书馆(通常)不会产出毫无意义的作品或完全随机的作品。LLM 图书馆是经过筛选的,试图只向你呈现那些具有模糊说服力的书籍。

当我坐在键盘前——准备写软件——我必须问自己:这在该向量空间之内吗?任何学过艺术的人都会知道,所有作品都是衍生的。第一幅洞穴壁画很可能是受到某人在沙地上画画的启发。有时宇宙会赐予我们原创性和灵感。那句谚语中苹果砸中牛顿脑袋的故事浮现在我脑海中。但总的来说,所有人类的思想和创造都是建立在彼此以及我们之前的祖先之上的。我并不是想写出脱离衍生的软件,但我想写出无法在 LLM 图书馆中找到的软件。

文章标题:猴子、图书馆与 AI

不幸的是,这从来不是我的强项。我是个普通的学生、普通的软件工程师、普通的艺术家。在 LLM 出现之前,我能写出一个与另一个软件相近、但略有不同的软件。音频分类器是 Spotify 或 Shazam 之类用来给歌曲做指纹的常见技术。10 年前,我本可以写一个 RF 分类器,或许能帮人识别路由器型号,或对通信设备进行分类。我不必是第一个想出这些指纹技术的人。我只需要把音频频谱图算法搬到 RF 上。但现在,我知道答案在 embedding 里。我知道 Library of LLM 里收录了那本书。既然已经写好了,何必再费心去写。只需要请图书管理员去把它取来。

而这种感觉这些年来只增不减。我不再受到鼓舞去为软件编年史添砖加瓦。我有什么可贡献的?我常常在有限的空闲时间里盯着 IDE,希望自己有个理由去写点软件,但我就是提不起劲。LLM 能在相当于我写一个小子集的时间里写出全新的语言、Web 应用等等。不仅如此,它们还借鉴该领域的顶尖专家来完成这件事。它们的衍生作品基于最广为人知、使用最广的软件。如果我让它写一个操作系统,它会从 Linux 汲取灵感。这么做真的错了吗?见鬼,如果它开始生成一个 MS-DOS 的衍生品,我会很恼火。我不希望它写出不连贯的软件,但我也不需要它带着某个微小、无意义的变化去重写 Linux。UNIX 原则也许是错的。谁知道呢?也许有人会发现,做许多事情的单体软件出于某种尚未被理解的原因反而更好。Library of LLM 永远不会收录那本书。但我觉得我也写不出那本书。

那么,我该怎么办?

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗