Air-LLM：通过射频计算广播 AI 权重以实现边缘 LLM 推理

计算机科学 > 信息论

标题：AIR-LLM：通过 RF 计算在无线电上广播 AI 权重，实现无内存边缘 LLM 推理

摘要：下一代大语言模型（LLMs）正从云端扩展到无处不在的边缘设备。然而，边缘设备通常要么缺少存储日益增大的 LLM 权重所需的内存，要么即使有足够内存，也会在加载权重上花费难以承受的能量。这引出我们的问题：边缘设备能否在不存储或加载其权重的情况下运行 LLM，而是通过无线方式接收权重并即时使用？受无线广播启发，我们提出 AIR-LLM，一种面向边缘设备的 LLM 推理架构，它由以下部分组成：(i) 一个中央无线电（例如 5G 基站），将 LLM 权重广播到空中；(ii) 边缘用户，其接收权重并使用 RF 混频器直接在射频（RF）域完成 LLM 推理的通用矩阵-向量乘法（GEMV）。为进一步缩短空口时间，AIR-LLM 利用 MIMO 空间复用，并在边缘提出一种节能的 precoder-postcoder 对，以校准其自身的无线信道。由于中央无线电保持不感知用户，AIR-LLM 具有用户可扩展性，因此一次广播可服务其覆盖范围内的无限用户。我们在两个真实城市场景的 NVIDIA Sionna 射线追踪信道以及真实 RF 混频器的性能分析上实现 AIR-LLM。在 LLaMA-3.1-8B 上 WikiText-2 困惑度退化 4.0% 的情况下，AIR-LLM 相比 FP16 和仅权重量化基线分别节省 157.7x/40.4x 的能量；在 20 个用户时，其空口时间分别缩短 104.1x/26.0x。

| 引用为： | arXiv:2610.00465 [cs