AXI 框架：破解 AI 成本危机的良方

AXI：AI 成本危机的解药

作者/创建者

• Rajnish choubey，架构师（其他）

• Shalendra Gaur（研究员）

描述

AXI 是一个主机侧层，它在聊天之外保存 AI 任务的精确状态，在每次回复被应用之前用确定性门控进行检查，并在每一步向模型发送一个简短的新提示。本文报告了在 Gemini 3.8 Flash、开放模型、NVIDIA T4 和 L4 以及 Google TPU v6e 上进行的预注册测试：在 1,500/1,500 步上保持精确状态，提示平均小 169 倍，单个精确步骤便宜 4.5 至 9.3 倍，每颗芯片的会话数最多可增加 185 倍（内存余量）。每次运行前预测均被哈希锁定，所有数字都可以从保存的文件中重新计算得到。架构由 Rajnish Choubey 设计；测试由 Shalendra Gaur 构建并运行。代码与测试：https://github.com/gaurshalendra2412/axi-runtime

文件

AXI_white_paper_v3.pdf

文件 (537.0 kB)

附加详情

相关工作