文章标题:为什么 AI 想要本地化 —— 对话 Pete Warden(Moonshine Voice 创造者)
正文:
Pete Warden 谈本地 AI、开放模型、语音界面与硬件的未来。

订阅:Apple • Spotify • Overcast • Pocket Casts • YouTube • AntennaPod • Podcast Addict • Amazon • RSS。
Pete Warden,Moonshine Voice 的联合创造者,也是一位资深深度学习工程师,与我一起讨论为什么 AI 越来越倾向于在本地运行而不是在云端。我们探讨开放权重模型的快速进展、在笔记本电脑和浏览器中运行 AI 需要什么,以及低延迟语音模型如何让语音成为更自然的界面。我们还讨论了专用模型与端到端模型的对比、本地 AI 的经济性,以及可能挑战当今以 GPU 为中心的基础设施的新兴硬件方案。[本期节目最初播出在 Generative AI in the Real World,这是我为 O'Reilly 主持的一档播客系列。]
访谈亮点——视频版本中的关键部分:
- 本地 AI 比大多数人意识到的更强大:开放模型、量化,以及在笔记本电脑上运行 LLM,本地 AI 能否在知识工作中取代云端模型?隐私、个人 AI,以及内置到操作系统中的模型,语音作为超越 Siri 和 Alexa 的计算界面,为什么延迟对语音 AI 和用户体验很重要,本地 AI 如何改变应用的经济性,为失败和人类反馈设计语音界面,复合 AI 与端到端语音模型的对比,多模态模型与专用语音模型的对比,直接在浏览器中运行 AI 模型,为什么 AI 想要本地化,以及为什么企业需要控制权,Apple、NVIDIA,以及重新思考用于 AI 推理的 GPU,高带宽闪存与 AI 硬件的未来
- 本地 AI 比大多数人意识到的更强大
- 开放模型、量化,以及在笔记本电脑上运行 LLM
- 本地 AI 能否在知识工作中取代云端模型?
- 隐私、个人 AI,以及内置到操作系统中的模型
- 语音作为超越 Siri 和 Alexa 的计算界面
- 为什么延迟对语音 AI 和用户体验很重要
- 本地 AI 如何改变应用的经济性
- 为失败和人类反馈设计语音界面
- 复合 AI 与端到端语音模型的对比
- 多模态模型与专用语音模型的对比
- 直接在浏览器中运行 AI 模型
- 为什么 AI 想要本地化,以及为什么企业需要控制权
- Apple、NVIDIA,以及重新思考用于 AI 推理的 GPU
- 高带宽闪存与 AI 硬件的未来
跳转到文字记录
相关内容:
- 本次对话的视频版本可在我们的 YouTube 频道观看。
- 我此前搞反了的本地 AI 问题
- 我改变了对世界模型的看法
- 预览关于前沿 AI 监管的辩论
- 你的模型不是你的护城河
- Richard Ho → 走进 OpenAI 的第一款芯片
- Joel Hron → 前沿模型已经存在,为什么还要构建自己的 AI 模型?
- Pete Warden → TinyML、传感器驱动的 AI,以及大型语言模型的进展
订阅我们的新闻通讯📩,支持我们的工作
文字记录
以下是经过润色和编辑的文字记录。
Ben Lorica。好的。今天我们有一位老朋友,Useful Sensors 的 Pete Warden,他们的主网站实际上在 moonshine.ai。如果你访问该网站,你会看到他们非常专注于设备端语音,我们一定会和 Pete 聊所有关于语音和边缘计算的话题。但我确实想利用 Pete 作为资深深度学习工程师之一的身份,了解他对当下正在发生的事情的看法。那么,Pete,欢迎回到播客。
Pete Warden。谢谢邀请,Ben。
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。
文章标题:为什么 AI 想要本地化——对话 Pete Warden(Moonshine Voice 的创造者)
正文: Ben Lorica。好的。那么我想说,Pete,我不知道这个概括是否公允,但你工作的一个主要方向就是这样一个理念:本地 AI 不必是妥协的产物。事实上,这是人们应该更认真对待的事情。正如我提到的,我们一定会谈到你在端侧语音模型方面的工作。但广义地说,Pete,对于我们的听众中那些并不怎么关注本地模型的人来说,如果有人想在笔记本电脑上、而不是手机上运行模型——就是笔记本——我们现在处于什么阶段?易用性方面是什么状态?我想障碍之一在于,用云 API 总是更容易,对吧?那么围绕本地 AI 的工具链,我们现在处于什么位置?
Pete Warden。是的。那么目前的情况,就像许多开源项目一样。每年都会是“Linux 桌面之年”。我认为对普通用户来说,这类东西的可用性总会存在一些滞后,但我认为营销上的滞后更大,因为靠本地模型赚钱非常难。
这意味着像 Anthropic 和 OpenAI 这样的大公司,乃至一般的大科技公司,都不会去推动这件事。如果你给他们一个选择:一边是你能真正赚到钱的 SaaS 服务,另一边是这么个东西——你甚至都不知道人们在用它,因为他们根本不联系你的服务——那么每家公司都会选择那个有轻松订阅收入模式的。
这意味着围绕着所有这些工具——它们本质上只是网站上的一个小文本框——会有海量的营销。所以这意味着大多数人从未听说过这些本地模型。
现在,如果你用像 Ollama 这样的东西,它大概是最知名的,我想人们会惊喜地发现它用起来多么直观,以及模型的质量有多好。我最近看到一些消息,说 Anthropic 其实有点担心,因为人们开始转向更专门的模型,而不是总去选那个最庞杂、最昂贵的可用模型。
本地模型在基准测试中其实表现很好。它们与大商业化的 Anthropic 和 OpenAI 模型的能力差距始终只差几个月。但我也相信,本地模型已经发展到了能够胜任人们想用它们做的事情的程度。
我真正希望的是,这属于那种情况——对我们这些年纪足够大、还记得互联网泡沫的人来说——当时人们花几千美元买 SPARC 服务器,或者用 Microsoft IIS 花大笔的钱,因为 Web 服务器被视为如此神秘的东西。然后,当然,Apache、Nginx 以及所有这些替代品,一旦人们真正有时间四处看看、而这些替代品也有一点时间改进,就把商业替代品打得落花流水。
我不知道我们是否会完全走到那一步,但这就是我看到的那种模式。
Ben Lorica。是的,我的感觉是,开放模型——无论你对开放的定义是什么,我想主要是指开放权重——最终会胜出。这在我看来合理得多。
正如你提到的,在早期 Linux 对 Solaris,甚至 Postgres 和 MySQL 对 Oracle 的时候,这些开源项目是否会发展到让我们不得不认真对待的程度,这一点远不是显而易见的。但最终,我认为它们是技术栈中如此重要的部分,以至于开放的替代品才是人们会选择的东西。
说到这个,Pete,你提到了 Ollama,对吧?显然还有其他替代品。假设,为了讨论起见,它们确实易于安装和使用。就模型而言,你有 Gemma 之类的东西,我想,还有其他小模型,对吧?一个人需要什么样的硬件才能运行这些模型,从而不必为每个提示等上 20 分钟?
Pete Warden。那么这很大程度上取决于你的模型选择。
像 {{NAME_ab12cd34}} 这样写出的值,是真实值的占位符。请完全按原样使用它们,无论是在回复中还是在工具调用中:它们会在任何东西运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。
文章标题:为什么 AI 想要本地化——对话 Pete Warden(Moonshine Voice 的创造者)
正文: Ben Lorica。是的。
Pete Warden。如今你可以得到非常能干的模型,大概 90 亿参数那种。尤其是如果你看看 Qwen 系列模型,它们往往表现得非常好,不过还有很多其他替代选择。
Ben Lorica。但替我们翻译一下,Pete。对一个用普通笔记本的人来说,90 亿算大还是算小?
Pete Warden。所以关键就在于你能不能把它塞进你显卡的内存里。通过权重量化,90 亿参数,如果是八位,大概就是 9GB。现在出货的很多不错的中端笔记本内存都超过这个数。
但用 Q4,而且有各种各样的方案,你其实可以把它压到 4GB 显存的显卡里,而这种显卡非常普及。还有很多更老的笔记本,里面也有那么多 GPU 内存,也就是 VRAM。
所以实际上,硬件门槛比人们想象的要低得多。另一个好消息是,所有硬件厂商都在关注这件事。他们多少被 DRAM 的疯狂行情、涨价拖了后腿。但如果你看看 Apple 新的 M5 Studio,他们有一个配置是 256GB 系统内存。
Apple 在把这部分内存真正开放给他们现在所有 Mac 里内置的加速器方面做得很好。有了这个,你面对的就是那种数千亿参数的模型,而你能以相当不错的速度运行它。
一旦到了那些数量级,你面对的真的是那种很难分辨你用的是 Claude 还是开权重模型的地步。它们有不同的特性,但并没有哪一个明显更差。
Ben Lorica。所以正如我提到的,我们稍后肯定会深入聊语音和讲话。但先停留在本地模型这个概念上,显然隐私和知识产权安全是支持它的理由。
你觉得,如果我们往前看,比如说 12 到 24 个月,这些本地模型会变得足够能干,以至于在企业里做知识工作的人可能会时不时考虑用它们吗?
比如说,一个经常出差的人在飞机上,没有联网,需要继续写文档、生成图像,甚至在笔记本上写代码、氛围编程。你觉得我们会走到那一步吗——有了这些本地模型,你做知识工作时基本上感觉自己没有在做妥协?
Pete Warden。我觉得你现在其实就能到那一步,我知道这话相当大胆。
Ben Lorica。但你说“你”的时候,是指 Pete Warden 吗,那个要把这些都编译好的人?我们想要普通人。我们想要平民百姓,Pete。
Pete Warden。我觉得最大的障碍是易用性。如果你看基准测试,这真的不再是模型质量的问题了。
Ben Lorica。模型质量。
Pete Warden。是的,模型质量的问题。还有一些边缘情况,你可能会更偏好某些商业在线模型,但并不是那么泾渭分明。
而且人们发现有些模型实际上更好用,尤其是当你处理像——我不想把它叫做审查,因为我觉得那是个带偏见的说法——但很多商业模型都有各种限制。它们也许是想防止不良用途,但很多时候,即使你想做的是无害的事,它们也会给你使绊子。
比如说,我认识很多做网络安全的人,他们是白帽,但他们不得不处理大量东西,其中他们会问及恶意行为的问题。用商业模型的话,你会不断撞上那些出于好意内置的限制和护栏,但它们真的会影响你的工作。
文章标题:为什么 AI 想要本地化——对话 Pete Warden(Moonshine Voice 创作者)
正文: Ben Lorica。对,对,对。顺便说一句,Pete,模型只是一个组件,但模型周围还有那些东西,所谓的 harness,甚至还有上下文、记忆、知识。
你可以想象一个人,这其实是我思考过的事情。你知道人们开始把这些 LLM 当作治疗师或朋友来用,对吧?
Pete Warden。是的。
Ben Lorica。那么如果你要这么做,为什么不在本地模型上做呢?为什么要在连接到云端的东西上做呢?
我想反对的一个理由是,如果你在本地做,你就要负责模型升级之类的事情,对吧?而如果你使用这些数字或 AI 治疗师服务,他们会处理你的所有历史记录和所有这些。
你认为消费者使用本地模型会变得更容易吗?这些模型本质上是他们 100% 信任的东西,因为他们拥有它?
Pete Warden。是的,我是说,这些应该成为操作系统的一部分。在这一点上,它实际上是一种操作系统能力,应该可供应用程序使用,我觉得 Apple 正在朝这个方向前进。
Ben Lorica。我明白了。是的,这很有道理。
Pete Warden。是的,他们正在获得硬件能力。
我想说的另一件事是,本地不一定意味着在你的笔记本电脑上。特别是作为企业用户,你可以在本地部署,甚至可以启动一个你的企业可以控制的云实例,在那里运行这些模型,并获得相同的体验。
我确实想强调的一点是,人们终于不得不支付接近通过 Anthropic 和 OpenAI 运行这些模型的真实成本,而本地托管或本地部署的成本也可能低得多。
Ben Lorica。不过如果你看看他们的消费者产品,它仍然便宜得离谱,对吧?所以每月 20 美元。我是说,你可能一天就用完了。
Pete Warden。是的。特别是在企业方面,有很多选项不需要高端 NVIDIA GPU。你仍然需要那些来训练,但对于推理,对于仅仅运行模型,作为企业,你可能已经有闲置的容量。
Ben Lorica。所以你一直在做的另一个重要方面是让人们为语音和讲话感到兴奋,对吧?这种观念认为语音可以成为一种基本的计算原语。它不一定需要感觉像某种远程服务。
我还记得你在 Precita Park 附近一家嘈杂的咖啡店里向我演示这个语音转录服务。
Pete Warden。是的。对。是的。
Ben Lorica。这是几年前的事了。这个东西的准确性令人难以置信,而且它甚至不是在笔记本电脑上运行的。我想它只是运行在 Raspberry Pi 上。
Pete Warden。没错。是的。
Ben Lorica。那么跟我们谈谈语音作为一种实际界面的现状,类似于鼠标或键盘。我们现在处于什么位置?
Pete Warden。我认为很多人对语音持怀疑态度,因为他们用过 Siri 和 Alexa,那是一种非常生硬的交流方式。
但当我谈论这些事情并遇到这种阻力时,我经常问人们的问题是,当你坐在沙发上,试图和你身边的另一半决定看什么电视节目时,你是给他们发短信还是跟他们说话?
Ben Lorica。对。
Pete Warden。除了少数 Z 世代的人,几乎所有人都说跟他们说话。
所以由此推论,好吧,并不是人们不喜欢语音界面。而是人们不喜欢糟糕的语音界面。
所以问题变成了一个工程和用户体验问题:我们如何让语音界面使用起来愉快而高效?
我认为一旦我们做到了这一点,语音真的可以占据它的位置,甚至可能成为一种比键盘或触摸屏更频繁的输入媒介。
Ben Lorica。是的,因为我认为人们普遍的印象是语音和讲话比键盘或触摸屏的确定性要低得多,对吧?
像 {{NAME_ab12cd34}} 这样书写的值是真实值的占位符。请完全按照书写的方式使用它们,在回复和工具调用中都是如此:它们会在任何东西运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。
文章标题:为什么 AI 想要本地化——对话 Pete Warden(Moonshine Voice 的创造者)
正文: 尽管人们现在使用自己的 LLM 时会到处拼错词,而这似乎无关紧要。
但人们印象中,口音、背景噪音、措辞等等都会带来问题。那么在这些方面,我们处在什么位置?
Pete Warden:这些问题中的大多数我们都有可用的解决方案,或者至少有大幅改进。但由于没有商业激励把它们整合起来,它确实还没有进入主流。
我感觉我们面对的还是上一代接口。它们还没有完全接纳 LLM 时代,仍然受困于你列出的许多问题。
这就是为什么我认为开源可以成为一个非常有力的杠杆。
Ben Lorica:那么在你努力解决这些接口问题的过程中,你学到了哪些经验教训?事实上,其中一些甚至可能适用于那些不做语音、只是在构建 AI 应用的人。
我记得你几年前跟我说过的一件事是,对于语音,你不必等到对方说完才开始工作,对吧?那么这些接口方面的经验教训有哪些?
Pete Warden:我认为延迟是个大问题。这是你在云端语音接口中根本得不到的东西。
你通常至少要等上几秒,而这已经足够让人怀疑自己是不是真的被听到了。
Ben Lorica:是啊,就像跟别人开 Zoom 会议或打电话,然后出现了一段停顿。
Pete Warden:对,对方就坐在那儿。感觉就像对方只是坐在那里,无视你。
从一般用户体验研究中我们知道,你确实需要处在 200 毫秒或更低的范围内,才会让人感觉有响应。
我经常让人们想象,你在键盘上按下一个键,而按键要两秒钟后才出现在窗口中。那会非常别扭。
Ben Lorica:顺便说一句,这也是使用 LLM 的人必须应对的问题,不过是在输出端,对吧?他们要确保回复不要太长。否则人们会不耐烦,对吧?
Pete Warden:是的,绝对如此。
我还想提另一件事,我觉得这对一般性地思考本地 AI 的人也可能有帮助。
当你不再按 token 付费,当你不再需要为使用语音接口付费时,你使用这些东西的方式、可能性的世界,都会变得宽广得多。
如果你想象每个应用开发者都必须在有人触碰其应用触屏上的某个图标时支付几分钱,你就会以非常不同的方式设计应用,而且很多应用会因为这种税而不复存在。
所以一旦 LLM 被内置到操作系统中并且普遍免费可用,语音也一样,那就不只是从一分钱降到零的渐进变化。这会大幅增加你可以用它们来做的可行事情的数量。
Ben Lorica:所以我猜想,Pete,这是你做了大量工作的一件事,基本上就是为失败而设计,对吧?因为在语音中,很多事情都可能出错。
在为失败而设计应用方面,有哪些经验教训?
Pete Warden:我最喜欢的为失败而设计的例子之一,是 Google 搜索中摘要片段的使用。
Google 搜索从一开始就知道,他们不可能总是把第一条结果弄对。你没有直接点“手气不错”是有原因的。
Ben Lorica:对,没错。“手气不错。”
Pete Warden:他们做法的高明之处在于,他们实际上让你浏览,用眼睛扫一遍。
他们希望大多数时候能在前三名中得到正确结果,然后你实际上通过查看摘要片段来缩小范围,这些片段告诉你足够的信息去点击正确的那一个。
像 {{NAME_ab12cd34}} 这样写成的值是真实值的占位符。请完全按原样使用它们,无论在回复中还是在工具调用中都是如此:它们会在任何东西运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。
文章标题:Why AI Wants to Be Local – With Pete Warden (Creator of Moonshine Voice)
正文: 声音也是一样。当我们交谈时,你越能真正读懂对方的肢体语言,你就会微微点头来表示正在发生什么。
Ben Lorica。等一下,我只有声音,所以你看不到我。
Pete Warden。不,我能看到。
Ben Lorica。不,不,但一般来说,对吧?一般来说。
Pete Warden。嗯,那其实是我还没提到的另一个部分。
我认为配备一个完全本地运行的小摄像头将成为这其中非常重要的一环。但即使没有摄像头,如果你听到支持性的声音,或者你开始给出回答而有人做出反应,所有这些我们作为人能够识别的东西,我们都会对它们做出回应并提出更多问题,而不是假设自己选对了。
所以真正去理解我们作为人所使用的所有这些线索。其中一些是言语的,一些是肢体语言和视觉的,但真正要在本地理解它们全部。
并确保所有这些录音永远不会被记录下来,因为你可以在本地验证这一点。你一旦把音频和视频发送到云端,就不知道它们会怎样。基本上无法审计。
而对于本地的东西,你可以审计。所以我希望这能开辟使用摄像头的可能性,同时不增加用户在隐私方面的风险。
Ben Lorica。所以有一些人从事语音模型的研究,这个领域已经有大量的工作。
事实上,我认为有一件事被大大低估了:人们谈论深度学习有过 ImageNet 时刻,但实际上最早的令人印象深刻的深度学习模型是在语音领域,在 ImageNet 之前,对吧?
所以有一些人在研究语音模型。他们甚至谈论过端到端模型,但显然我们有大语言模型(LLM)。
对于不太密切关注这个领域的人,Pete,LLM 和语音模型之间是什么关系,还是说人们不用 LLM?他们只用语音模型吗?
Pete Warden。一直存在一场大规模争论,分裂成我所认为的 LLM 最大化主义者和另一派,前者期望一切都成为端到端模型。
Ben Lorica。“Machines of Loving Grace。”
Pete Warden。是的,完全正确。而我通常看到的是 Anthropic、OpenAI,那些大型 AI 公司。
Ben Lorica。或者,你知道,炒作机器总得被喂饱,对吧?
Pete Warden。嗯,炒作机器总得被喂饱,而且具体来说,如果未来是端到端模型,那么只有最有钱的人才能真正构建和训练它们。
现在,我非常坚定地站在 Berkeley 所说的复合 AI 阵营,也就是你实际上用多个模型来构建你的应用,每个模型都有专门的任务。
所以在那里,你不是用一个模型接收语音输入并输出语音音频,而是实际上有一个模型接收语音音频输入,将其转换为文本,输入到 LLM 中,然后 LLM 输出文本,再转换为语音。
现在,每次你把音频转换为文本时,你实际上会丢失大量表达性信息。这就像一个信息瓶颈。
你无法判断某人是如何提问的,他们是否用某种特定的语调来提问,以及所有其他这些东西。
Ben Lorica。你在做那个转换的时候,不能添加元数据吗?
Pete Warden。你某种程度上可以,但复合 AI 的整个要点在于你可以从不同来源获取模型并将它们插接在一起。所以你需要某种共同语言,而目前,所有 LLM 都唯一能说的是文本输入和文本输出。
但优势在于你实际上可以独立地训练所有模型。对于一个语音端到端模型,如果你有一种新的口音,那么如果它是真正的端到端模型,你就必须做大量的训练。
如果你有新的输入口音、新的输出声音或新的能力,如果它是真正的端到端模型,那么你就必须训练整个东西。
如果实际上不是,如果端到端只是一个营销术语,那么你可以分别训练各个组件、各个模块。
像 {{NAME_ab12cd34}} 这样写的值是真实值的占位符。请完全按照所写的方式使用它们,在回复和工具调用中都是如此:它们会在任何运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。
但是这样一来,你们就总是要在某种固定的接口数据上达成一致,比如某种 schema、某种语言。即使它不是文本,即使它是一个嵌入向量,你仍然需要有这些固定点。
所以是的,我认为端到端更像是一个营销术语,是用来为流入这些公司的大量资金正名的东西。
Ben Lorica。Pete,对于听过“多模态”这个词的听众来说,情况如何?Gemini 号称是多模态的。
碰巧的是,我刚和一位从事视觉推理与理解领域工作的人聊过,他们说实际上 Gemini 在理解视频方面相当差。
那么,这些多模态模型在你们所处的语音领域现状如何?
Pete Warden。它们实际上往往相当不错。Qwen,17 亿参数,我记得是这个规模,实际上比 Whisper 做得更好,在某些语言(比如普通话)上明显更好。Gemma 也是如此。
问题在于,作为通用模型,Gemma 的一个失败案例是:你上传一段语音音频,它转写出来,但随后会被那段语音的内容搞糊涂,以为你在问它一个问题——比如说,如果转写出的语音里包含一个问题的话。
所以这就是那种情况之一:你想用一把瑞士军刀,而用一把真正的木锯要比用那个什么都能干、还带个小锯子附件的玩意儿容易得多。
所以这是端到端模型的另一个缺点。
Ben Lorica。顺便说一句,显然你是这个话题上的权威。通用模型在边缘设备上一上来就注定失败,对吧?
Pete Warden。我是说,现在,只有……
Ben Lorica。对于某些类型,我是说,你参与的一些非常小的硬件。
Pete Warden。我最近做的一件事是搞出一个完整的语音界面,可以连接 Wi-Fi、设置 password,诸如此类,运行在一块只有 500 KB RAM 的 Raspberry Pi Pico 微控制器上。
在那种地方,你永远不会有能为你好好工作的通用模型。但一如既往……
Ben Lorica。顺便说一句,你还做过一件很有意思、而且我没见很多人做过的情,就是更认真地对待浏览器,对吧?
那么告诉我们,这背后的动机是什么,反响如何?
Pete Warden。是的,这挺棘手的,因为我有时觉得“我们做了 X,但是在浏览器里”就是 Hacker News 的诱饵,因为作为新奇事物它总能吸引大量关注。但很多事情往往很难找到实际用途。
就语音能力而言,包括语音输入和语音输出,我看到的是它让语音成为浏览器操作系统的一部分,或者让人感觉它是浏览器操作系统的一部分。
一旦你能在浏览器里快速准确地转写,这就是让人们轻松开始尝试这些东西的一种方式,而且目前这没有任何成本。
我试着放了几个示例。如果你去 Moonshine AI……
Ben Lorica。但把浏览器当作推理点的整个理念,对吧?你可以想象其他模型也这么做,不只是你的模型——你的模型专注于语音。
你可以想象文本,我是说,面向文本类应用的浏览器推理,对吧?
Pete Warden。嗯,如果你在运行 Chrome,你其实已经装了一个非常强大的模型。你有一个 40 亿参数的模型。
我去年其实写过一篇博客文章,展示你可以直接通过 Chrome 设置把它当聊天机器人用,就在窗口里打字然后得到回复。
我认为这是一个模型成为操作系统一部分的例子,因为 Chrome 本质上就是一个运行在其他操作系统之上的操作系统。
你现在已经可以访问那个内置的 LLM 了,我想现在任何网站都可以。以前只有扩展程序可以,但现在我认为任何网站都能从 JavaScript 访问它。
文章标题:为什么 AI 想要本地化——与 Pete Warden(Moonshine Voice 创始人)对谈
再说一次,我们仍在摸索这件事最好的用例是什么。但一旦它变得免费,而且你可以指望它无处不在,我真的觉得,对很多这类新的 LLM 技术来说,这就是一个 iPhone 时刻。
Ben Lorica。或者甚至你之前提到的,对于用笔记本电脑的人来说,它在某种程度上会成为操作系统的一部分,对吧?
所以展望未来,Pete,再说一次,对我们的听众来说,你可以在 Moonshot AI 关注 Pete 的工作。Moonshine。啊,Moonshine。Moonshine.ai。而且很多工作是开源的,你可以加以利用。
所以展望未来,Pete,12 到 24 个月。我真不想让你当场为难。第一,我们在本地或边缘模型方面处在什么位置;第二,就开源模型的整体状况而言呢?
Pete Warden。是啊,我做预测向来很糟。
Ben Lorica。但对我们的听众来说,Pete 超级擅长的一件事,就是知道该做什么。所以这算是个提示。就告诉我们你正在做什么吧。
Pete Warden。好。所以从深入技术一侧来看,我最终做的很多事情,都是因为我已经在做某件事,然后变得显而易见:唯一合理的技术方案就是 X,所以我当然想去做 X。
而我看到的,也是过去几年我一直看到的,就是把这东西跑在本地或本地部署(on-prem)上的那种引力,随你怎么叫它。
我常说,“AI 想要本地化。”
如果你想想 Google Search 这样的东西,你需要庞大的数据库,你需要成群的服务器,你需要这一切。而如果你看看 Claude 和 ChatGPT 在做什么,你可以完全在一台没有网络连接的笔记本电脑上运行它。
所以这些模型的形态非常适合本地运行,这跟我们过去几十年见过的几乎所有其他东西都不同——那些东西上,云端更说得通。
所以我预期的是所有这些压力:尤其是企业的成本压力、对隐私的担忧、对能力消失的担忧、对变化的担忧。
如果你在某个特定版本的 Claude 之上构建了一个应用,即便你在下拉菜单里用的是同一个版本,背后实际发生的事情也可能天天在变。
所以如果你想要稳定,你实际上需要自己托管,至少在你自己的云基础设施里,如果不能放在用户笔记本本地的话。
我还能一直说下去。
Ben Lorica。是啊。然后另一件事是,我觉得很多企业正在认识到,护城河,或者说他们的护城河,其实不是模型。而是围绕模型的那个复利循环,对吧?
随着你更多地使用模型,你学到更多,诸如此类。那你到底为什么要把这些送给一个商业专有模型呢?
Pete Warden。那为什么不在你自己的模型上做微调呢?
Ben Lorica。是啊,我是说,用那些数据。
Pete Warden。对,正是。
Ben Lorica。然后,正如你指出的,你实际上也控制着自己的时间和路线图,因为模型在你手里,你知道什么时候可以安全地把它换成别的东西。
没人会在你脚下把那个模型替换掉,对吧?
Pete Warden。也没人会一夜之间开始收十倍的钱。
Ben Lorica。对,对,对。然后还有,即便他们保持成本不变,也可能出于某种原因削弱模型,对吧?
Pete Warden。是的。是啊,甚至还可能是来自外部的压力。
Ben Lorica。那么顺便问一下,Pete,最后一个问题,因为显然你工作的领域里你真的很在乎硬件,对吧?
眼下,我们处在一个 Jensen Huang 似乎拥有一切的世界里。那你对 AI 硬件状况的预测是什么?
我们会看到更多元化吗?AMD 会加把劲吗,还是硬件领域总体上在发生什么?
Pete Warden。那就盯着 Apple。
免责声明,2000 年代我在 Apple 工作了五年。我妻子在那里工作了 13 年。
写成 {{NAME_ab12cd34}} 这样的值是真实值的占位符。在回复和工具调用中都完全按原样使用它们:它们会在任何东西运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。
文章标题:为什么 AI 想要本地化——对话 Pete Warden(Moonshine Voice 的创造者)
正文: 但如果你看看他们在做什么,他们在获得大量 RAM,提升 RAM 速度,这样你实际上可以更快地运行模型,而且他们有自己的仅推理加速器。
我认为有了这三样,你就不需要 GPU 了。
Ben Lorica。所以你就把所有东西都跑在 CPU 上?
Pete Warden。嗯,把所有东西都跑在另一种加速器上。
Ben Lorica。哦,好吧。那不是……
Pete Warden。GPU。
Ben Lorica。我明白了。我明白了。所以 CPU……
Pete Warden。实际上可能相当快。显然,……
Ben Lorica。NVIDIA 的答案就是为什么我们在 GPU 上有所有 HBM,高带宽内存,对吧?
Pete Warden。我喜欢把 GPU 想象成是为大批次和训练而设计的。
我喜欢把 GPU 想象成试图用一艘油轮去买菜。
它们对于这些大型训练任务非常出色,但对于推理来说完全是大材小用。推理对硬件施加的工作负载有着非常不同的形态。
Ben Lorica。我最近开始关注的一件事,而且它还非常非常早期,就是高带宽闪存。
Pete Warden。绝对。
Ben Lorica。对。那你怎么看?
Pete Warden。所以那是另一个例子。
我看到 NVIDIA 正在赚取巨额资金,而这对所有这些硬件公司也有自己的引力,他们正从技术角度审视。
我没有什么特别的洞见。我只是用过这些东西。我知道这些工作负载长什么样。其他人也在看这些,他们说:“哦,我明白了。我们必须流式传输所有的权重。每个 token 都必须处理所有的权重。”
所以如果你有某种东西,即使你跑在 CPU 上,如果你有某种东西,它的带宽足够高,能在一瞬间拉取 270 亿个权重,那么剩下的部分在实际处理方面就相当容易了。它通常非常受内存限制。
所以看到高带宽闪存、Apple 正在做的事情、提升普通 RAM 的带宽,真是太棒了。
我认为现在人们理解了工作负载长什么样,我们会看到很多真正富有想象力的解决方案。
Ben Lorica。是的,说到这里,谢谢你,Pete。再次,网站是 moonshine.ai。
分享这个:
- 在 X 上分享(在新窗口中打开)X
- 在 Facebook 上分享(在新窗口中打开)Facebook
- 在 LinkedIn 上分享(在新窗口中打开)LinkedIn
- 通过电子邮件将链接发给朋友(在新窗口中打开)电子邮件
喜欢这个:
像 {{NAME_ab12cd34}} 这样写的值是真实值的占位符。请完全按照写法使用它们,在回复和工具调用中都是如此:它们会在任何运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。