
虽然围绕人工智能(AI)和机器学习(ML)的炒作承诺了无限好处,但讨论正从理论转向现实世界的实际可行性。平台工程团队的关注点正转向 ML/AI 的可用性和运营效率,以及在边缘运行 AI 工作负载的可行性。考虑到这一点,Cosmonic CTO Bailey Hayes 深入探讨了 AI 推理,以及 WebAssembly (Wasm) 和 wasmCloud 等平台可以如何提升分布式 AI 工作负载的有效性。
AI 推理是将实时数据通过训练好的 AI 模型运行,以预测结果或解决问题的过程。它是一场严峻考验,揭示模型在将学到的信息付诸实践以做出预测方面表现如何。高效推理意味着 AI 系统能够提供快速、准确的输出。
仅依赖云的 ML 和 AI 策略存在局限。在云和边缘之间移动大量数据成本高昂,尤其是在区域之间。延迟问题会影响云中的 AI 推理,导致设备和云环境之间出现滞后。此外,在网络受限的环境中运行 AI 应用会影响应用的可靠性和安全性,这在提供实时服务时是一个主要问题。
Wasm 是一个出色的推理类工作负载编译目标,因为它具有可移植、轻量、开放架构和接近原生速度的特点。其快速启动时间和低资源消耗使其成为边缘设备上实时推理的理想选择,而安全沙箱可确保在不同环境中安全运行。
Bailey 带我们了解了当前在 AI 工作负载中利用 Wasm 的方法:wasi-nn、wasi-webgpu、自定义接口和提供程序。每种模型都适用于特定用例——Bailey 带我们了解了优缺点。她以在 wasmCloud 中运行的天基与地基网状网络的精彩演示结束了演讲,探讨了它如何使用 Ollama 进行图像识别。请查看上方的录像,我们在下方列出了主要讨论要点和演讲文字稿。
涵盖的主题
- AI 推理与 Wasm:Wasm 是一个出色的推理类工作负载编译目标。主要有四种方法,均与 wasmCloud 兼容:wasi-nn、wasi-webgpu、自定义接口和提供程序。
- wasi-nn 简介:wasi-nn 与现有生态系统集成,因此非常适合在现有 ML 模型上有大量投入的场景。推理通过宿主和原生代码进行,这意味着硬件得到优化。Bailey 详细讨论了这种方法的优点(硬件优化)和缺点(沙箱、可移植性和硬件依赖)。
- wasi-webgpu 简介:wasi-webgpu 是基于 WebGPU API 的新 WASI 接口。它直接面向 GPU,具有可移植性,并且是更低层的基础构建块,这让它对未来的 AI 框架开发令人兴奋。目前 wasi-webgpu 尚无现成解决方案,因此它更适合经验丰富的从业者。
- 将模型编译为 Wasm 与本地优先工作负载:将 Ollama 等模型编译为 Wasm,并为本地优先工作负载创建量化版本,可以实现无需网络请求的本地推理。这在 Wasm 运行时内部受到沙箱保护,但在利用专用硬件和代码体积增加方面的限制是显著的性能权衡。
- 自定义接口和提供程序:实现自定义接口和提供程序的方法有很多。一些服务(如 Hugging Face)为某些模型提供特定 API,例如 Ollama,它适用于本地和边缘应用。
- 图像分析器组件演示:图像分析器组件触发推理,并对上传的图像运行图像分类。它使用 Ollama API 进行推理,通过本地运行的 Ollama 发出 OpenAI HTTP 调用。该组件很小(292 kilobytes),与传统容器大小相比,使其在本地开发和生产部署中都很高效。
- 能力替换与组件分析:图像处理器组件可以链接到不同的能力,例如 blobstore 或本地文件系统——这保持与各种 AI 提供商的兼容性。使用 wasmtools-component-wit 命令,分析该组件的依赖项和需求,以揭示图像分析器运行所需的组件。
转录
发言人:Bailey Hayes
AI 推理与 Wasm
你可能已经知道,人工智能(AI)和机器学习(ML)现在是热门话题,我希望能够将它们拆解,并对我所见到的所有不同方法做一个简化的概述。这里我将特别关注推理式工作负载。而且我觉得最有趣的一点是,Wasm 是这类工作负载的绝佳编译目标。
我将介绍的基本上有四个主要类别。wasi-nn、wasi-webgpu、将模型编译到 Wasm,以及编写自己的自定义接口和提供程序。我想指出,所有这些不同的方法也与 wasmCloud 兼容。但我会给出许多我如今在业界看到的不同示例。

来源:Nvidia 深度学习推理平台模型。
wasi-nn 简介
那么关于 wasi-nn,它是一个用于执行 ML 推理的 WASI 接口。它已经存在几年了。实际上,来自 Intel 的关键推动者之一 Andrew Brown 一直在推动它,并参与其规范相当长一段时间。该规范最近有一些非常酷的新增内容,使其对我稍后要演示的推理类型更好一些。
它有许多不同的关键优势。它与我们今天已有的现有模型和生态系统集成,而那个领域已经爆发式增长。因此,尝试创建某种能让你对所有这些进行抽象的东西真的很了不起。这是它最大的优势之一。当然,它是一个 WASI API,这意味着我们看到许多不同的运行时实现,从 WAMR 到 Wasmtime 和 WasmEdge。到目前为止,wasi-nn 最大的优势是它允许硬件优化:本质上,你告诉 API 加载你的模型,然后对其运行推理。
推理那一侧实际上由宿主代码、原生代码完成。这既是它最大的优势,也是它
另一个正在出现的东西(说实话,如果我们坦诚一点,它还非常早期,但我经常被问到它,所以我想稍微概述一下)。这是另一个名为 wasi-webgpu 的新 WASI 接口。顾名思义,你大概能猜到它基于 WebGPU API,并且显然直接面向 GPU。因为它直接面向 GPU。这意味着你可能不会有某种 CPU 回退,也无法利用像 TPU 这样的专用硬件,而这类硬件能让运行 TensorFlow 非常高效。然而,它最大的优点是极其可移植。
很多地方已经弄清楚了如何支持 WebGPU API。它也是一个更低层的基础构建块。我觉得这非常令人兴奋,因为我预计会发生的是,许多不同的人将在 wasi-webgpu 之上构建 AI 框架。然而,这还没有真正发生,所以今天确实没有多少现成的解决方案。现在,如果你是先驱者或前沿探索者。这可能是加入这个潮流的时候,看看你能否构建出自己的 AI 框架供其他人使用。
这是另一种情况,我认为它实际上可能是你已经运行过、只是没有意识到的东西——这是因为 TensorFlow JS 似乎几乎出现在所有大型 Web 应用中。比如说,它用来模糊视频背景非常方便。
将模型编译为 Wasm 以及本地优先工作负载
还有另一种我觉得有趣的情况,我在服务器端看到得稍微多一些,那就是将 Ollama,具体来说是该模型的量化版本,编译为 WebAssembly。当你把模型及其包含的所有内容编译成单个 .wasm 时,那真的很好,因为这意味着任何 WebAssembly 运行时都能够运行它,并且这允许你执行本地优先的 saw 工作负载。你无需发出网络请求来运行推理。你无需进入单独的进程。它实际上完全在本地,这意味着它全部被沙箱化在 WebAssembly 运行时内。
这有一些重大的权衡。性能可能是 WebAssembly 内部最大的问题。我们一直在推进 SIMD 128;一个扩展的 SIMD,所以有新的性能提升,但归根结底,通过这种方法,你无法利用专用硬件;你利用的是 WebAssembly 的可移植性。它还会让代码体积占用扩大不少。因此,如果你对这类方法感兴趣——很多人这样做是因为他们面向 Web、边缘或本地优先用例——请务必使用模型的量化版本,也就是更压缩、更小的版本。
自定义接口和提供者
好吧,这里的最后一类,我承认,非常像一个大杂烩,我们看到人们编写自定义接口和提供者,而且这种实现的样子千差万别,但我想简单提一下几种不同的方法。Wasm 实际上有多种不同的风格来支持 AI 推理。其中一种是通过 TensorFlow 接口。所以在很多方面,这就像一个非常特定于 TensorFlow 的更低层 API,但如果你只运行 TensorFlow,那么也许那是对你来说最好的 API。
我还看到很多其他情况,其中 WebAssembly 组件暴露一个 OpenAI HTTP 接口,其他人能够调用它。但底层发生了什么,就它们实际如何做而言,仍然有点各不相同。不同提供者之间的推理似乎差异很大。
这最后一个,我想再深入一点。有些人在构建特定于某些提供商的 API,例如 Ollama。今天早些时候,我展示了 wasmCloud space demo,它实际上底层使用了 Ollama。Ollama 有一些关键优势。那里有非常多不同的模型。其中很多是开源模型,你可以拉下来并在笔记本电脑上运行。所以我运行的演示是在我的笔记本电脑上,用他们的桌面应用运行 Ollama。因此它有大量不同的桌面应用,适用于 Mac、Mac、OS、Windows 和 Linux。所以它非常适合消费级硬件,而且它知道在需要时如何回退到 CPU。这使得它非常适合本地模型部署和开发,并且让它非常非常容易使用。
有一个很大的缺点,不过公平地说,这是我们整个行业都在试图解决的问题。这就是你一次只能运行一个推理周期,因为要想出一种对 GPU 进行多租户处理的方法有点困难。所以如果你使用 Ollama,我确实推荐它用于本地和边缘应用,但要明白,在执行 GPU 上的工作之前,你必须要有某种类型的工作负载锁。确保你考虑到这一点,并且也要明白,这实际上是你授予的一项特权能力:访问 GPU 上运行推理。使用 wasmCloud,你能够通过链接授予该能力。我会在演示中展示一点它看起来是什么样。
##
还有一点我想强调:我之前提到了图像处理器。一旦我们处理完一张图像并将其识别为船,就把它保存下来,稍后再处理。对于更多内容,我们把它上传到 blobstore,所以我把它链接到一个 WASI blobstore。但真正酷的地方在于,我实际上可以使用并换入一个能力,在这里就是一个作为我本地文件系统的 blobstore。这真的非常强大,因为这意味着我可以拿我在本地开发、与部署在我桌面上的 Ollama 配合使用的完全相同的 .wasm。然后,当我把它部署到生产环境时,它仍然发起 OpenAI API 调用;因此我可以用 Microsoft 提供的 OpenAI 来支撑它,还可以用一个 blobstore,比如 Azure 的。非常、非常强大。
我想在这里展示的最后一件事是,当我查看我的组件以了解它内部有什么时,我在我的图像分析器组件上运行这个名为 wasmtools-component-wit 的命令,将其输出到 component.wit,你可以看到它运行所需的东西。有那个 wasi-config-runtime 导入,然后还有我用来执行这个组件所需的所有其他不同的 WASI 部分。这是关于如何使用 Ollama 和我们的 Ollama provider 编写你自己的组件的非常简要的概述。
参与其中
加入 Slack 上的讨论,并帮助我们在 Q1 路线图规划讨论中规划创新路线。本周的 wasmCloud Weekly 将专门讨论路线图——今天东部时间下午 1 点加入我们。
关于作者


像 {{NAME_ab12cd34}} 这样写的值是真实值的占位符。在回复和工具调用中都要完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。