Newshot Google gooses Python AI performance by... removing Python
新开源的 XSE 在包括 Search、Ads 和 YouTube Shorts 在内的各项服务中每秒处理六百万次查询
延伸阅读
- Canonical 的 Web 服务在 Ubuntu Summit 前夕怯场 16 小时前
Canonical 的 Web 服务在 Ubuntu Summit 前夕怯场
- Anthropic 悄悄踏入 MS Office 的地盘 1 天前
Anthropic 悄悄踏入 MS Office 的地盘
- 14 岁少年打造让 AI 智能体像团队一样协作的工具 1 天前
14 岁少年打造让 AI 智能体像团队一样协作的工具
- Chrome 零日漏洞打地鼠继续，2026 年累计已达 8 个 1 天前
Chrome 零日漏洞打地鼠继续，2026 年累计已达 8 个
- Mac 仿制品增多，Linux 抄了 Apple 的衣柜 5 天前
Mac 仿制品增多，Linux 抄了 Apple 的衣柜
就 Google 的许多机器学习工作而言，“用 Python 训练，用 C++ 服务”几乎就是它的座右铭。
Python 对数据科学家来说易于使用，但把它的解释器留在服务链路中会带来额外开销和部署难题。由业界支持的 OpenXLA 项目提供了各种工具，可将机器学习计算编译为面向不同处理器的原生代码。
这套方案中最新开源的一环是 XSE，即 XLA Serving Engine 的缩写。
一次性推理
XSE 并不太适合大规模 LLM 推理（那更适合交给 vLLM 或 SGLang），而更适合规模较小、任务指向更明确的模型——Google 内部这类模型多得很。
“眼下 LLM 服务最受关注，但相当一部分生产推理仍然是排序、推荐、嵌入和视觉模型。这些模型往往请求很短，每秒查询数非常高，延迟预算又很紧。”Google 产品管理总监 Nathan Beach 在周二的一篇 LinkedIn 文章中写道。
在 Google，XSE 已在包括 YouTube Shorts、Google Ads 和 Search 在内的服务中每秒处理超过六百万次查询。
这些模型不是用来悠闲聊天的。它们对结果排序、推荐视频，并随手做出其他决策，用户往往毫无察觉。
如果每个请求都要让 Python 解释器琢磨一番，那会成为瓶颈，甚至可以说会是 Google 的末日。在针对短请求的测试中，XSE 的吞吐量达到其最优化的 Python 服务器的两到五倍，而内存占用只有后者的四分之一。
这里没有 Python
在这套方案中，机器学习专家用 Python 编写模型代码，借助 Google 的 JAX 完成计算。Google 还计划与 TorchTPU 集成，让 PyTorch 用户能够导出模型，以便在 TPU 上用 C++ 提供服务。一个导出工具会把模型的计算打包成 StableHLO——一种可移植的中间表示——并与训练好的权重一起放入一个“XLA SavedModel”。
C++ 服务运行时随时准备预判，它使用 XLA 把这些计算编译成面向目标芯片的原生代码。这里看不到任何 Python 解释器。
XLA SavedModel 可以在 GPU 和 CPU 上运行——Google 与 Arm 和 Intel 都建立了合作来开发 XLA 生态。但 Google 显然认为，如果你的模型跑在它自家的 TPU 加速器产品线上，那会酷得多。
Python 的迟缓仍然是机器学习社区的一个问题。除 XSE 之外，人们还采取了其他方案，其中很多都涉及尽快甩掉 Python 代码。PyTorch 提供了一个名为 LibTorch 的原生 C++ 运行时。此外，Microsoft 及其合作者提供了 ONNX Runtime，它支持一种带 Python 绑定的开放图格式。
就连 Python 自己的参考实现也严重依赖 C，而 Rust 如今也在敲门。®