Exa 借助 AWS AI 芯片将嵌入吞吐量提升 50%,以支撑数十亿文档索引
在 Exa,我们正在构建为数不多的真正网页索引之一:聚合并服务来自整个网络的知识,以及私有和合成数据源。我们针对语义搜索优化该索引,让智能体和人类立足于真实、高质量的数据。我们使用多塔语义机器学习(ML)模型,将网页数据和查询数据嵌入同一向量空间,因此用户可以用自然语言表达复杂查询,同时保留传统的关键词搜索。支撑这一点的关键技术是自研的向量数据库。它必须尽可能多地摄入高质量网页数据,并将全部数据嵌入。因此,嵌入的单位经济性构成了我们一切工作的基础。在数百亿乃至数千亿文档的规模下,寻找每美元性能最佳的硬件并不是一个调优细节。任何单文档成本的改进都会复利成可观的数字。
本文详细介绍我们如何针对 AWS Neuron 硬件(AWS Inferentia2 和 AWS Trainium2)上更廉价、更灵活的推理工作负载优化嵌入基础设施,以及一个智能体式开发工作流如何驱动了这次优化。
推理运行在异步流水线上,但它必须高通量且快速,以便快速服务最新数据并缩短从发现到可服务之间的时间。

图 1:Exa 技术栈的简化视图
每一份我们评定为质量足够高的结构化网页文档,在能够被服务之前都必须先完成嵌入。此图展示了原始网页数据如何从爬虫进入由解析、审核与过滤、嵌入组成的异步流水线,结果由向量数据库提供。
大规模嵌入文档
我们对 Neuron 硬件系列的体验始于一次回填。迁移到更优的文档模型意味着要重新嵌入现有语料。我们选定了 300 亿份高优先级文档进行重新嵌入。这样的迁移会暂时使嵌入负载翻倍,这恰恰是重新评估硬件选择的正确时机。

图 2:回填带来的翻倍推理负载
上图展示了两条共享爬取和解析阶段的并行流水线,一条用在线模型将数据嵌入在线索引,另一条用新模型将优先文档重新嵌入新索引,这正是负载翻倍的原因。这次翻倍是一个明确的触发点,促使我们重新考虑硬件和优化选择。
优化历程
AWS Inferentia2 的数据指在最小实例类型上的性能,即 Inferentia2 xlarge 实例(inf2.xlarge),配备一个芯片和两个 NeuronCore。我们的工作负载运行在单个 NeuronCore 上,因此我们运行 Kubernetes pod,将它们打包到更大的实例上而不留下任何空闲核心,从而在嵌入集群中实现容器同构。相同的进程运行在 Trainium2 NeuronCore 上,并以相同的方式通过数据并行扩展。我们最初的 Inferentia2 实现是模型的一个直接的数据并行 FP16 表示。从那个基线出发,我们借助 Neuron SDK 和 AWS Trainium 团队的支持,一路尽可能推高吞吐量(docs/sec)。下图展示了每个里程碑处的吞吐量增益。

图 3:各优化里程碑的吞吐量提升
从朴素编译开始,一系列渐进式优化最终带来了约 1.5 倍的吞吐量提升。首先是权重布局优化,通过将权重布局与更大范围的模型的调度和布局对齐,消除了不必要的转置。我们还启用了 autocast,让编译器将矩阵乘法降精度执行,同时保留动态范围。降精度后的输出达到了我们 0.999 余弦相似度的正确性门槛(相对于参考实现,见 Agentic methodology),因此精度影响在我们的可接受阈值之内。
NKI kernel
Neuron Kernel Interface (NKI) 库为常见模型层和运算提供了优化后的 kernel。这些预构建 kernel 在常见特性上带来了立竿见影的收益,我们借助它们快速消除了最直接的效率低下来源。一个可直接替换的 attention kernel 为我们带来了下一轮性能提升。
内存布局优化:融合 SwiGLU MLP kernel
下一个瓶颈是内存溢出。来自 Neuron Explorer 的 profile 持续显示大量溢出以及从高带宽内存 (HBM) 的重新加载,这导致 Tensor Engine 在前向传播过程中无法被充分利用。我们以一个可直接替换的 MLP kernel 作为跳板,分析预构建实现的短板,随后编写了一个自定义的 weight-stationary 融合 SwiGLU MLP kernel,消除了 HBM 停顿。
我们在布局操作、循环和内存操作上使用了更高级的 NKI 语言,仅在特定张量运算上才下探到更低层的 NKI ISA。将 kernel 的大部分保留在高级语言中,使工程师更容易理解,也更容易调试。
减少 FLOPS
此时我们遇到了瓶颈。在另一个片上核心空闲的情况下测得的单加速器吞吐量,显著高于两个核心同时运行时的表现。这一差距意味着我们的理论数据并行吞吐量本应远高于实际达成的总性能,这指向了核心之间的争用。
Profiling 与实验表明,我们的工作负载尚未让 Tensor Engine 达到饱和。剩余的性能空间可以通过让计算更精简来争取。剩下最清晰的路径是消除浪费,从而减少产生结果所需的总体 FLOPS。我们围绕模型中的确切形状重写了 attention kernel,以减少花在 padding 上的 FLOPS。这正是 kernel 定制真正体现价值的地方。通用 kernel 为处理任意形状而构建,因此无法利用特定架构中的具体形状。我们通过让实现贴合模型 head 架构的真实形状,从 attention 中榨取了更多性能。我们还将 attention 运算合并为单次 matmul,而通用 kernel 则使用了多个指令步骤。这削减了计算相同数值所需的内部循环运算,减少了 HBM 往返,并带来了最终显著的加速。
总体而言,相较于最初的基线,我们的最终版本在每嵌入 100 万篇文档的性能和成本上提升了 47%。
Agentic methodology
所有这些都是由 agents 在一个简单的三部分 harness 内开发的,该 harness 让它们能够验证正确性、测量性能并对工作负载做 profile,以找出下一个方向。借助 ML ops 工作流平台 Flyte,每个 agent 运行自己的工作流。工作流会编译一个 NEFF Neuron 可执行文件,并基于基线数据集检查一次前向传播,其结果必须达到与标准模型 0.999 的余弦相似度。随后它会 profile 一次前向传播,并在真实硬件上运行 30 分钟的饱和基准测试。
文章标题:Exa 将嵌入吞吐量提升 50%,在 AWS AI 芯片上为数十亿文档建立索引
正文: 该框架以不同成本支持各类代理。轻量级模型处理诸如网格搜索编译器参数之类的繁琐工作,正确性检查可防止偏差。推理代理测试复杂假设并查找瓶颈,而最强的代码生成器则编写自定义内核来修复它们。将每个代理与其任务匹配可控制成本,而验证可防止能力强的代理偏离方向。由于许多代理不了解最新功能和语法,neuron 代理开发技能也提供了帮助。
灵活计算的优势
到目前为止,我们已针对美国西部(俄勒冈)区域(us-west-2)优化了 Inferentia2,但在一个区域中调整一个硬件系列存在硬性限制。Spot 和按需可用性因区域而异,拥有众多消费者的组织会与自己竞争。锁定到一个区域或实例类型几乎必然导致计算短缺,并可能使服务降级。
Exa 从一个 Kubernetes 控制平面跨多个区域调度计算。我们的调度器比较各实例类型的性价比,将 pod 打包到最便宜的节点上,并随着嵌入需求变化重新调度。我们优化的每种硬件类型都让我们更接近全局最优。这就是为什么我们的 Inferentia2 工作直接延续到了 Trainium2。切换硬件配置使我们能够释放其他团队需要的节点,或吸收他们未使用的预留计算。对于长期运行的模型,跨硬件优化会带来巨大回报。
结论
在 Exa 运营的规模下,从灵活硬件池中榨取最大性价比才是关键。将 Neuron 硬件加入该池并用 NKI 对其进行优化,已被证明是长期成本节约的主要来源。