Newshot

Splice-Core:面向高能效 AI 加速器的低阶位拼接 GEMM

Translation(model translation, not the source's own text)

计算机科学 > 硬件架构

标题:Splice-Core: Low-Order-Bit-Splicing GEMM for Highly Energy-Efficient AI Inference Accelerators

摘要:Splice-Core 是一种 temporal-unary/binary(tub)混合通用矩阵乘法(GEMM)单元,它最大限度地降低了低阶累加延迟,同时保留了对高阶激活比特的值相关执行。我们提出了两种新颖的处理单元(PE)变体:(i) 使用位平面的 Splice-BP,以及 (ii) Splice-LUT,它在单个周期内选择一个共享权重倍数。在 45nm 工艺下的 26 个 INT4 卷积神经网络(CNN)和大语言模型(LLM)工作负载中,与二进制脉动阵列相比,Splice-BP/Splice-LUT 分别实现了 77.4%/76.4% 的几何平均 tile 能耗降低。Splice-LUT 进一步将几何平均 tile 吞吐量提高了 44.4%,并在 26 种配置下将几何平均能量延迟积(EDP)降低了 6.13 倍。在评估的 W8A8 卷积和专家投影工作负载中,Splice-BP 和 Splice-LUT 将 tile 能耗降低了 77.3-88.1%。与脉动阵列相比,布局布线后的 INT4 使 Splice-BP/Splice-LUT 的面积分别缩小了 14%/9%。
注释:7 页
主题:硬件架构(cs.AR);人工智能(cs.AI)
引用为:arXiv:2611.25617 [cs.AR]
(或本版本的 arXiv:2611.25617v1 [cs.AR])
https://doi.org/10.48550/arXiv.2611.25617 arXiv 颁发的 DOI,通过 DataCite(待注册)

提交历史

访问论文:

  • HTML(实验性)

附加功能

  • 音频摘要

当前浏览上下文:

参考文献与引用

  • Google Scholar
  • Semantic Scholar

BibTeX 格式引用

书签

书目与引用工具

与本文相关的代码、数据和媒体

演示

推荐与搜索工具

arXivLabs:与社区合作者合作的实验性项目

arXivLabs 是一个框架,允许合作者直接在我们的网站上开发和分享新的 arXiv 功能。

与 arXivLabs 合作的个人和组织都认同并接受了我们的价值观:开放、社区、卓越和用户数据隐私。arXiv 致力于这些价值观,并仅与遵守这些价值观的合作伙伴合作。

对能为 arXiv 社区增加价值的项目有想法?了解有关 arXivLabs 的更多信息。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗