Newshot

开启AI竞赛的那篇文章

Translation(model translation, not the source's own text)

文章标题:开启人工智能竞赛的那篇文章

正文:

2017年,一位卷发的 OpenAI 研究员 Dario Amodei 有一个直觉。

当时——请记住,2017 年在人工智能研究领域已是遥远的过去,恰在 AlphaGo 之后、GPT-1 和 LLM 革命之前——大多数人工智能研究者仍然把自己视为工具制造者。他们会构建专门的模型来解决具体、狭窄的问题:语言翻译、语音识别、机器人、游戏。每一个领域都需要不同的算法、不同的数据集和不同的方法。

感谢阅读!免费订阅以接收新文章并支持我的工作。

但 Amodei 有不同想法。他认为,让 AI 变得更智能的更好方法,就是简单地把它做大。在他自己的实验中——包括他在百度参与过的一个语音识别系统——他观察到,很多改进都是规模扩张的结果:给模型的训练过程增加更多数据和更多算力,让它训练更长时间,然后看着它神奇地变好。而且他知道,在自然界中,其他条件相同时,大脑大的动物通常比大脑小的动物更聪明。他相信,如果 AI 遵循类似的原理,那么取得真正进展的最佳方式——也许是唯一方式——就是停止构建小型、狭窄的模型,转而开始扩大通用模型的规模。(类似的想法后来由 Richard Sutton 的著名文章《The Bitter Lesson》推广开来,但 Amodei 比 Sutton 早几年提出。)

Amodei 为了向同事解释他对规模扩张的看法而写的那份文档——题为《The Big Blob of Compute Hypothesis》——成为早期 OpenAI 研究人员中的经典。它以华丽的细节描述了为什么 Amodei 认为大多数人工智能研究者过于自作聪明。他们会针对模型遇到的任何问题设计各种复杂解决方案,而一个简单得多的解决方案——直接把东西做大!——反而会更有效。

“创造任何给定的智能行为,主要在于提供一大块结构极少的计算能力,然后通过与丰富环境的交互,以及一个驱使模型朝着适合当前任务的行为发展的训练过程,赋予它形状和形式。”Amodei 写道。

为了说明他的意思,Amodei 用了创造雪花的类比。如果你想制造一片雪花,你不会试图用镊子把一片片冰晶组装起来。相反,你会创造一个具备合适条件的容器,让雪花自行形成。

制造雪花的方法,不是从它的碎片去思考,而是了解物理定律(训练目标),拥有足够的原材料(算力)和足够大的腔室(参数),正确设置温度、压力和湿度(归一化、形状),并等待足够长的时间(经验的数量)。此外,这是你制造雪花的唯一方式,也是你影响其形状的唯一杠杆;试图用一点点冰拼出单独一片雪花基本上是没有希望的。

Amodei 还认为,人工智能安全研究者存在微观管理的问题。在他周围的某些研究者,比如 Eliezer Yudkowsky 的 MIRI(最近因其他原因出现在新闻中)的研究者,主张对人工智能安全采取类似网络安全的做法,设计复杂的安全协议来防止模型失控。Amodei 不同意。他认为,创造安全人工智能的更好方法是把高层条件设置正确,让模型自己判断什么是安全或不安全。

文章标题:开启人工智能竞赛的那篇文章

正文: “Big Blob of Compute”从未在OpenAI之外发表过——Amodei也不愿对此置评——但这篇文章在业内已具有神话般的地位。几位OpenAI的早期员工告诉我,这篇文章重塑了他们对AI的思考,并让他们相信规模比他们想象的更重要。从非常真实的意义上说,“Big Blob of Compute”可能开启了AI竞赛,因为它促使OpenAI开始扩大其语言模型的规模,以验证Amodei的假设——这一努力最终催生了GPT-2、GPT-3,以及我们今天看到的一切。

我获得了一份“Big Blob of Compute”的副本,并在此发表,原因有几个。

  • 这是一份重要的历史文献——当机器人终于动手建一座“我们是如何走到这一步的”博物馆时,它应该被收录其中——而且我认为,听听如今担任Anthropic首席执行官的Amodei是如何形成他对规模化扩张的信念的,是很有价值的。如果AI真如Amodei所认为的那样改造社会,这类文献或许相当于达尔文的笔记本,而我认为让公众读到它们有着强有力的公共利益理由。(注:完整文档超过25页。我只发表前10页,因为其余部分非常密集且技术性很强,主要是Amodei与多位其他AI安全研究员争论,说明他们提出的方法为什么是错的。)
  • 阅读“Big Blob of Compute”能让你对Amodei的个性、他与 fellow researchers 的沟通方式,以及塑造其思想的知识影响有所了解——对于一位执掌全球最重要公司之一的人来说,理解这些都很重要。它也证明了那套阴谋论有多么荒谬——该阴谋论称Amodei和其他AI领袖近来谈论夸大的末日场景,是作为监管俘获的战术烟幕。这些人早在还有任何东西可供监管俘获之前,就已经在思考和撰写关于AI末日的内容了!
  • 我是在试图引诱你购买我的书《The AGI Chronicles》,向你展示书中有许多劲爆的秘密和像“Big Blob of Compute”这样从未发表过的研究文献。这本书明天出版,而预购(对作者帮助格外大,因为预购计入首周销量,进而计入畅销书榜单)尤其宝贵。我的Substack不收费,但如果你想相当于往我的小费罐里投点钱,可以在Amazon、Audible、Bookshop或任何你购买或收听书籍的地方订购《The AGI Chronicles》。我为它拼命工作,也为它的成果感到自豪。我认为这是一本很适合送给刚刚对AI产生兴趣、想了解整体格局的人的书,而且书中有足够多的新披露,连最狂热的AGI内部人士也会感到惊讶。

以下,为传世之用,是Dario Amodei的“The Big Blob of Compute Hypothesis”:

另外几条事务性说明:

  • 我今天出发,开始为期十天的巡回售书,将前往华盛顿、纽约、莫里斯敦、格林尼治、克利夫兰和旧金山,并将在台上与Thomas Friedman、PJ Vogt、Joanna Stern和Sebastian Mallaby等人类超级智能对谈。如果你在其中某个城市,来打个招呼吧!完整行程安排见此。(部分活动已售罄,但我周三晚上在纽约与PJ的92NY活动还有票,应该会非常有趣。)
  • 巡回售书回来后,我们将开始制作《Machine Gods》,这是我和Casey Newton与NPR合作主持的新视频优先播客。我对此非常兴奋,我们正在为最初几期安排一些非常特别的内容。如果你想收听,可以在Spotify、Apple Podcasts、YouTube或任何你收听节目的地方订阅新的feed。

文章标题:开启人工智能竞赛的那篇文章

正文:

  • 我现在是 The Atlantic 的特约撰稿人!(The Atlantic 还发表了《The AGI Chronicles》的第一篇节选,讲的是 Dario Amodei 与 Sam Altman 之间恩怨的来龙去脉,以及 Anthropic 团队为何在 2020 年离开 OpenAI 自立门户。)共同主持 Machine Gods 是我的主要工作,在可预见的未来仍将是我的主要工作。但万一我决定重新开始写东西,能有一个受人尊敬的地方发表它们,会是件很有趣的事。
  • 关于这本书的媒体报道开始多起来了。有一篇 SF Chronicle 的报道,一篇 CBS News 的报道,还有几篇星级书评。(Kirkus 和 Publishers Weekly 都喜欢这本书。)我还出现在一部 Netflix 的“Instadoc”里,显然本周首播,主题是人工智能和 HuggingFace 攻击事件。如果你喜欢看我在湾区微风中头发飘动、而镜头外是一座废弃飞机库(说来话长)的画面,那你应该去看看。
  • 最后,如果你订阅了这个 Substack,期待更频繁的更新,我很抱歉。这本该是一个类似记者笔记本的地方,我可以在写作过程中随手丢下一些小料。但最终,在一年多一点的时​​间里报道、研究并写出一本 450 页的书,同时还要主持播客、偶尔写报纸专栏,所需的精力远超我的预期。如果在这次巡回宣传之后我能有些空闲时间,我大概会用来补看电视剧或陪家人,而不是在 Substack 上写作。不过也说不准。

感谢阅读!免费订阅即可接收新文章并支持我的工作。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗