Translation(model translation, not the source's own text)
计算机科学 > 硬件架构
标题:Splice-Core: Low-Order-Bit-Splicing GEMM for Highly Energy-Efficient AI Inference Accelerators
摘要:Splice-Core 是一种 temporal-unary/binary(tub)混合通用矩阵乘法(GEMM)单元,它最大限度地降低了低阶累加延迟,同时保留了对高阶激活比特的值相关执行。我们提出了两种新颖的处理单元(PE)变体:(i) 使用位平面的 Splice-BP,以及 (ii) Splice-LUT,它在单个周期内选择一个共享权重倍数。在 45nm 工艺下的 26 个 INT4 卷积神经网络(CNN)和大语言模型(LLM)工作负载中,与二进制脉动阵列相比,Splice-BP/Splice-LUT 分别实现了 77.4%/76.4% 的几何平均 tile 能耗降低。Splice-LUT 进一步将几何平均 tile 吞吐量提高了 44.4%,并在 26 种配置下将几何平均能量延迟积(EDP)降低了 6.13 倍。在评估的 W8A8 卷积和专家投影工作负载中,Splice-BP 和 Splice-LUT 将 tile 能耗降低了 77.3-88.1%。与脉动阵列相比,布局布线后的 INT4 使 Splice-BP/Splice-LUT 的面积分别缩小了 14%/9%。
| 注释: | 7 页 |
|---|---|
| 主题: | 硬件架构(cs.AR);人工智能(cs.AI) |
| 引用为: | arXiv:2611.25617 [cs.AR] |
| (或本版本的 arXiv:2611.25617v1 [cs.AR]) | |
| https://doi.org/10.48550/arXiv.2611.25617 arXiv 颁发的 DOI,通过 DataCite(待注册) |
提交历史
访问论文:
- HTML(实验性)
附加功能
- 音频摘要
当前浏览上下文:
参考文献与引用
- Google Scholar
- Semantic Scholar
BibTeX 格式引用
书签
书目与引用工具
与本文相关的代码、数据和媒体
演示
推荐与搜索工具
arXivLabs:与社区合作者合作的实验性项目
arXivLabs 是一个框架,允许合作者直接在我们的网站上开发和分享新的 arXiv 功能。
与 arXivLabs 合作的个人和组织都认同并接受了我们的价值观:开放、社区、卓越和用户数据隐私。arXiv 致力于这些价值观,并仅与遵守这些价值观的合作伙伴合作。
对能为 arXiv 社区增加价值的项目有想法?了解有关 arXivLabs 的更多信息。