Intel 放弃了它的 Gaudi 芯片。我们用 AI 让它们超越了 NVIDIA H100。
我们优化了 Intel Gaudi2,使其在长上下文推理基准测试中的 decode 吞吐量比 NVIDIA H100 高出 60%,成本效益提升 9.4 倍。
在 Standard Kernel,我们的使命是打造高性能系统软件,释放各类 AI 硬件的峰值性能。在这篇文章中,我们展示了在 Intel Gaudi2 加速器上优化 Qwen3.5-27B 推理的过程。仅通过软件优化,我们便将 cached-prefill 吞吐量提升了 3.21 倍,decode 吞吐量提升了 2.84 倍。优化后的 Gaudi2 相比 NVIDIA H100 80GB PCIe,cached-prefill 吞吐量高出 8%,decode 吞吐量高出 60%,而每小时租赁成本仅为其 17%。这意味着每美元可产出的 token 数量提升了 9.4 倍。
我们拿了一款起初看起来毫无竞争力的加速器,在不改变底层硅片的前提下,让它在这次工作负载上超越了 H100。我们相信,AI 推理的未来将是异构的,而软件将在释放多样硬件架构的性能与经济性方面发挥核心作用。
糟糕的软件让优秀的硬件失去竞争力
2019 年,Intel 以约 20 亿美元收购了 Habana Labs,希望在 AI 加速器市场挑战 NVIDIA。从各方面来看,Habana 的 Gaudi2 芯片在规格上足以与 NVIDIA 的旗舰 H100 竞争,拥有更大的内存(96 GB 对 80 GB)和相当的带宽(2.45 对 3.35 TB/s)。然而 Gaudi 的采用率有限,2025 年 1 月,Intel 取消了 Falcon Shores,这款本应延续 Gaudi 产品线的芯片。
替代性加速器面临的最大挑战之一是软件支持。NVIDIA 的软件生态受益于多年来在编译器、内核、推理引擎和针对特定模型的优化上的投入,使得其他硬件更难跟上。即便硬件支持必要的运算,可用的实现也可能缓慢或不完整。要让模型高效运行,往往需要在推理栈上进行大量工程工作。
因此,基于基准测试来比较硬件是困难的。性能既取决于软件栈,也取决于底层硅片,糟糕的结果可能反映的是软件优化不足,而非硬件本身的根本性局限。我们想弄清楚,能从 Gaudi2 上再榨取多少性能。
我们用 AI 让 Gaudi2 超越了 H100
我们在以下工作负载上对比了单块 Gaudi2 与单块 NVIDIA H100 80 GB PCIe:
- 模型:Qwen3.5-27B-FP8
- 并发数:16 个请求
- 输入长度:每个请求 70,000 个 token
- 共享前缀:95%
该工作负载类似于那些反复处理长且大部分共享的上下文的应用程序,例如处理对话历史或大型代码库的编程智能体。我们分别测量了 prefill 和 decode。
上述结果使用了以下 vLLM 和插件版本:
- Gaudi2(基线):vLLM v0.32.0,搭配日期为 2026 年 10 月 26 日的 vllm-gaudi 插件(commit 6a3dd47c41)。
- Gaudi2(优化后):在上述基线基础上加入我们的自定义修改。
- H100:vLLM 0.32.0。
我们的优化使 Gaudi2 的 cached-prefill 吞吐量相比基线提升了 3.21 倍,decode 吞吐量提升了 2.84 倍。优化后的 Gaudi2 在 cached prefill 上超出 H100 实测吞吐量 7.92%,在 decode 上超出 60.35%。

这些收益来自对整个软件栈的优化。我们的部分优化总结如下:
- 减少 prefill padding:使用更细的 128-token 分桶,而非更大的填充块。这减少了浪费的计算,并让更多请求能容纳在调度预算内而无需拆分。
文章标题:Standard Kernel Used AI to Make Intel's Abandoned Gaudi2 Outperform Nvidia H100
正文:
- 加速 prefill attention:将缓存前缀与因果后缀分开处理,避免不必要的掩码。使用批量矩阵运算、更大的缓存对齐 K/V tile,以及更高效的 softmax 归一化。
- 加速 GDN prefill:用更小的分块求逆替代昂贵的 128×128 矩阵求逆,并由自定义 TPC kernel 加速。复用缓存的张量,消除冗余的前向计算。
- 减少 GDN 计算量与内存流量:中间张量使用 FP16,同时将数值敏感的操作保持在 FP32。在 head 扩展之前对 Q/K 做归一化,并批量执行相互独立的矩阵运算。
- 优化归一化与卷积:用手工 RMSNorm 归约和因果卷积的更快的实现来替代它们,同时保持原有的数值行为和状态处理。
- 在 decode 阶段复用共享 K/V:共享前缀数据只收集一次,而不是针对每个请求分别收集;并为新 token 维护打包缓冲区,以避免重复的数据搬运。
- 减少 GDN decode 状态流量:在各 decode 步骤之间将循环状态保留在稠密缓冲区中,而不是反复读写缓存。仅在必要时才写回。
- 融合 decode 操作:将卷积、激活、Q/K/V 提取和归一化合并到单个 TPC kernel 中。在 graph replay 过程中正确保持循环状态。
更好的软件让 Gaudi2 每输出 token 的成本降低 10 倍
当我们把硬件成本纳入考量时,Gaudi2 的性能提升就变得更加有趣了。我们发现 Gaudi2 的租用价格为每小时 $0.60,而 H100 为每小时 $3.50。每小时成本相差近 6 倍。在我们的基准测试中,优化后的 Gaudi2 不仅在吞吐量上超过 H100,而且所需的小时租用成本只是其一小部分。
在这样的价格下,优化后的 Gaudi2 每美元可解码的 token 数量是 H100 的 9.4 倍,每美元新计算出的缓存 prefill token 数量是 H100 的 6.3 倍。这展示了软件优化能够多么显著地改变 AI 硬件的经济性。一个最初看起来缺乏竞争力的加速器,可以在底层芯片完全不变的情况下,成为某些生产工作负载的有力替代选择。

让硬件变得高效不应需要巨大的工程投入
如今的 AI 加速器架构比以往任何时候都多,但采用一种新架构仍然是一项重大的工程任务。甚至判断某个特定工作负载能否在某个芯片上良好运行,往往也需要大量的移植和优化工作。随着模型不断演进,其中大部分工作还需要反复重做。
我们正在构建 Standard Kernel 来改变这一点。我们的优化系统可以自主地在整个推理栈上尝试各种改动,在真实硬件上对它们进行基准测试,验证正确性,并积累所学到的东西,最终以很小的投入带来大幅度的加速。随着时间推移,我们希望让针对新架构的优化成为一项常规流程,而不是一个重大工程项目。
其影响不止于让单个模型跑得更快。如果工作负载能够以少得多的手工投入跨架构移植和优化,客户在选择使用哪种硬件时就拥有大得多的自由度,芯片厂商让自己的硬件被采用也会容易得多。并非每个加速器都会是每种工作负载的最佳选择,但弄清楚每个加速器擅长什么将会容易得多。
我们正在继续推进 Gaudi 和其他硬件架构上的工作。如果你正在构建 AI 硬件、运营推理基础设施,或希望用同样的钱获得更多 token,我们很乐意与你合作。我们也在招聘对这些难题充满热情的人。请通过 [email protected] 联系我们。
写成 {{NAME_ab12cd34}} 这样的值是真实值的占位符。在回复和工具调用中都请完全按原样使用它们:它们会在任何内容运行前被填入真实值。不要要求核实它们,也不要用示例替换它们。