Newshot

Frostbite:由 AI 端到端发现、设计并验证的全新 CPU 架构

Translation(model translation, not the source's own text)

摘要

在上一篇关于 Redwood 的文章中,我们展示了:给定一种架构,我们的 AI 系统可以在创纪录的时间内实现、验证并部署一个推理加速器。然而,与其他科学领域类似,我们相信,在给予正确自由度和护栏的前提下,AI 系统可以软硬件协同设计,在整个堆栈上进行优化,并打开一个此前无法触及的巨大设计空间。我们着手回答这个问题:“我们的 AI 系统和工具能否带来一种全新的硬件发现,其性能大幅超越人类设计?”

今天,我们推出 Frostbite,一款从零构建、采用新指令集的通用 CPU。Frostbite 利用交互网的特性——每一步都是局部的、每个依赖都是显式的、每个值都恰好有一个所有者——在长期停滞的 CPU 性能上实现了阶跃式提升。在最初选定的一组 25 个工作负载上(其中 15 个直到最终评估才揭晓),与一款现代、经硅验证的超标量 CPU 相比,我们实现了 4.59 倍的每瓦性能倍数。

我们的 AI 系统自主迭代了编译器、ISA、架构、微架构、RTL、验证和最终 GDS。当我们更仔细地审视所发现的架构原语时,我们惊讶地发现了新颖的硬件实现和运行时特性,而这些否则很难架构出来。尽管 CPU 核心改进停滞,我们仍能将一个工作负载概念一路推进到最终 GDS,并证明 perf/W 和 perf/area 的阶跃式提升。我们相信,随着 AI 系统能力越来越强,我们今天所知的每一类芯片,从数据中心级 CPU,到 AI 加速器,再到网络交换机和 NIC,都将经历类似的基础性架构转变。

交互网简介

主流编程语言在为通用

从理论上说,这应该有两项巨大的优势。第一是无须额外处理的多线程:并行性直接来自程序本身,而不是依赖各种粗细粒度的并行机制。没有线程、锁和竞态条件,也不需要传统核心用来挖掘并行性的乱序执行机制。第二,由于每个值只有一个所有者,每个步骤都是局部的,数据可以存放在使用位置旁边的小型本地存储器中。这省去了传统芯片在大型缓存子系统上耗费的大量面积和功耗,也省去了保持这些缓存一致性所带来的大量系统级复杂性。

过程

Frostbite 的设计没有任何架构先验。我们遵循了下述流程,一路上动用了多组 agent 集群。

Frostbite 项目的时间线,展示了关键事件、从架构探索到对齐与迭代的各阶段,以及每个阶段中创建的 agent 工作树。
Frostbite 项目的时间线,展示了关键事件、从架构探索到对齐与迭代的各阶段,以及每个阶段中创建的 agent 工作树。

架构探索与选择

为了开始架构探索,我们必须确定 Frostbite 应当极其擅长的那组工作负载。我们决定考察程序暴露其工作的不同方式:大量独立片段同时执行、多轮并行工作、长顺序链、数据相关分支以及递归。在每个类别下,我们创建了一个搜索集和一个留出评估集,用来评估最终的 Frostbite,确保设计能泛化到从未针对其调优过的程序。FFT、radixsort 和 LU 的内核遵循 SPLASH-2 基准中的实现,但规模缩小了 64 倍,因为在常规规模下它们不适合用于探索性工作。

后来,我们又在留出评估集中加入了五个更贴近实际的工作负载:卡尔曼滤波、PCA、有限元分析、LU 求解和 LZ4 解压。

25 个工作负载分为五组的表格,每组都分为搜索集和评估集。并行:搜索集中的 gemm、chacha20 和 spmv;评估集中的 conv2d、radixsort 和 pca。分阶段:搜索集中的 fft 和 binomial;评估集中的 lcs、bfs、emeans、lu solve 和 fea。顺序:搜索集中的 biquad 和 sha256;评估集中的 huffman 和 kalman。分支:搜索集中的 json;评估集中的 randomforest 和 lz4。递归:搜索集中的 mergesort 和 nqueens;评估集中的 quicksort、kdtree 和 fib。
25 个工作负载分为五组的表格,每组都分为搜索集和评估集。并行:搜索集中的 gemm、chacha20 和 spmv;评估集中的 conv2d、radixsort 和 pca。分阶段:搜索集中的 fft 和 binomial;评估集中的 lcs、bfs、emeans、lu solve 和 fea。顺序:搜索集中的 biquad 和 sha256;评估集中的 huffman 和 kalman。分支:搜索集中的 json;评估集中的 randomforest 和 lz4。递归:搜索集中的 mergesort 和 nqueens;评估集中的 quicksort、kdtree 和 fib。

Agent 综合了研究论文和现有基准,并构建了 Python 模型来权衡各种高层架构想法,最终收窄到单一的架构概念。这次探索的输出是一份 141 页的 PDF,涵盖所提出的编程模型、运行时以及芯片的高层模块。这远不是最终架构,而是一个起点,描述了所有先前的发现、高层需求、约束、实验和运行时特性。一旦第一个架构迭代完成(第一次 RTL 生成),这份文档就被删除了,因为其中许多数字和估算与物理上可行的结果相差甚远。

形式化契约与系统建模

文章标题:Frostbite:一种由 AI 端到端发现、设计并验证的新 CPU 架构

正文: 一旦选定架构候选方案,我们的系统便进入构建芯片完整软件模型的阶段。在探索架构空间时,构建软件模型至关重要,因为它们能让负载、ISA 与硬件的抽象视图之间快速迭代。无论我们构建的是 CPU、GPU、NPU 还是网络交换机,掌握这一迭代循环都能在有限时间内最快地探索设计空间。为了反复进行这一过程,我们设计了一种新的内部规范语言 ASL,并用它编写了 Frostbite 的系统模型“Arcmodel”。ASL 支持 RTL、系统模型、UVM、SVA 等之间的机器可检查转换与精化,且全部对照一个形式化背书的规范。其功耗与性能估算的准确度在 1–5% 以内,运行速度约为 RTL 仿真的 200 倍,并且可以通过“contracts”进行形式化验证。

迄今为止的每一个硅片项目中,人类架构师都会先撰写大量英文 PDF,然后才交给实现团队和验证团队。然而,自然语言无法精确且无歧义地捕捉实现所需的每一个细节,也无法保证在 ASIC 设计与验证过程中捕捉到每一个智能体幻觉。自然语言从来就不是为此而生的,在由 AI 撰写规范的世界里,我们选择一种形式化的、机器可检查的规范语言。

ASL 既能形式化地描述高层的、类协议行为,例如乱序处理、CSR 编程、内存排序和一致性,也能描述底层细节,例如流水线、仲裁机制和计算传递函数。这让模型可以在有用之处让规范保持开放,而在需要精确行为之处对其精确约束。ASL 还能原生翻译为 Lean4,我们在检查 AI 输出时用它进行所有定理证明,覆盖 RTL、UVM、C、SVA 等。我们将在后续文章中更详细地讨论 ASL。

在 Frostbite 的整个开发过程中,我们的 AI 将 Frostbite ISA、Arcmodel、设计与验证紧密地一起迭代,始终以 ASL Contract 作为事实来源。我们发现,拥有单一、可证明的事实来源,可以在部署大型智能体集群时防止一大类 bug、低级错误和 reward-hacking 情形。最终,这种共同语言让模型能够灵活地跨栈工作,将变更从负载一路传导至最终硬件。到最后,我们的 Frostbite ASL lowered down to 800k+ lines of Lean。

一张由 31 个簇构成的网络,每个簇对应芯片的一个模块,每个簇由 Lean contract 所命名的信号、事件、状态和子句组成,模块之间共享信号的地方用蓝色曲线连接;下方是展开的 frame manager 的 contract,其信号在左侧,馈入右侧的事件、状态和 49 条子句。
一张由 31 个簇构成的网络,每个簇对应芯片的一个模块,每个簇由 Lean contract 所命名的信号、事件、状态和子句组成,模块之间共享信号的地方用蓝色曲线连接;下方是展开的 frame manager 的 contract,其信号在左侧,馈入右侧的事件、状态和 49 条子句。

RTL 与对齐

由于 ASL 是一个形式化背书的规范,从它派生出的 RTL 的设计与验证是整个 Frostbite 流程中最快的部分。然而,Arcmodel 并不具备物理感知,因此其功耗与性能估算起初会与经过时序收敛、综合干净的 RTL 的真实数字存在偏差,最坏情况下偏差接近 250%。

在继续 ASL 自动研究之前,我们的一个系统会依据 RTL 重新校准 Arcmodel。这是一条完全自主的流水线。它首先识别 RTL 中的功耗热点,并将其追溯到形式化规范中的关键计数器,例如 SRAM 读写、操作计数、发送与接收的 flit、credit 返还以及 frame miss。随后,模型可以在这些计数器之上编写任意标量 Python 函数来预测功耗,并重复这一过程,直到 RTL 与 Arcmodel 的偏差在 5% 以内。

我们认为这种非梯度学习方式极其强大。一旦应用了首次物理对齐,后续迭代就会快得多。当然,这些仍然是流片前的功耗数字,在多次流片循环之后,ASL 模型可以与真实的流片后量产功耗数字进行关联。

模型能耗与 RTL 能耗预测误差随时间变化的图表,显示 Python 模型的误差在 40–130% 之间,而 Arcmodel 在首次功耗拟合后从 250% 的最坏情况误差降至最坏情况 6% 以下、搜索后中位数约 1.5%。
模型能耗与 RTL 能耗预测误差随时间变化的图表,显示 Python 模型的误差在 40–130% 之间,而 Arcmodel 在首次功耗拟合后从 250% 的最坏情况误差降至最坏情况 6% 以下、搜索后中位数约 1.5%。

通过将 Arcmodel 与 RTL 如此紧密地对齐,后续的 swarm 能够以快得多的速度进行探索和利用。完整的 Arcmodel 芯片仿真比 RTL 快得多(快 660 倍),这带来了许多跨栈优化。例如,我们的 AI 系统发现了非常细粒度的时钟门控技巧,并在几小时内相应调整了软件运行时以适配它们。这种跨栈优化在传统 ASIC 流程中几乎不可能执行。

Contracts、Arcmodel、RTL 与功耗,协同迭代

一旦 Arcmodel 与 RTL 达成一致,最初的 Python 模型和架构 PDF 就被删除,ASL contracts 成为芯片唯一的规范。从那时起,contracts、Arcmodel、RTL 和功耗协同推进。成群的 agent 在并行 worktree 中提出架构修订;每项变更都对照 contracts 进行检查、在 Arcmodel 中建模、在 RTL 中实现,并测量功耗,然后决定保留或放弃。在四轮搜索和最后一轮消融中,swarm 尝试了 58 个想法,保留了其中 37 个,从运行中 tile 上的时钟门控到更小的 L3 表以及一个共享 expander。

架构新颖性

完整细节的架构值得单独写一篇文章。不过,我们在这里选择聚焦于我们认为新颖或有创造性的特性,并突出我们系统推动硬件设计前沿的能力。

Frostbite 的程序用 Vine2 编写,Vine 是一门功能完备的编程语言,语法类似 Rust。Vine 程序被编译为 Ivy,这是一种编码 interaction net 结构的中间表示(IR)。优化器还会尽可能多地应用图归约规则,因此最终的 Ivy net(如其名称所示)具有(大体上)固定的形状,由三种原语组成:数据、计算节点和控制节点。然而,这个 net 的运行时仍然非常动态,因为与典型的计算图(并行性编码在结构中并随时间流水化)不同,这里的并行性必须在运行时从状态中推导出来,并在空间上流水化。最初的朴素实现很慢,因此我们的 agent 不得不发挥创造力。

生成的 ISA 源自这组约束。其中很多是意料之中的:宽 bundle、硬件循环计数器和流。我们发现动态特性更有趣,特别是从 net 中其他将并行运行的部分取值、窥视和复制值的操作。于是各个 tile 活跃起来,在空间上相互通信。

涌现特性:窃取工作

由于并行性分布在空间上,因此没有中央调度器。相反,我们看到 agent 设计了这些优雅的规则来传播工作。一个 tile 遵循三条规则:它首先运行自己的工作,即其输入端口中的工作。如果这些为空,它就从有富余工作的相邻 tile 那里取工作。如果找不到这样的 tile,它就可以直接进入非活动状态以节省功耗。

Agent 在实现这一点时展现出了非凡的精细度。下面是一个 Frostbite tile 的硬件:

一张 Frostbite tile 的框图:前端、引擎、内存和系统块,其中运行时(帧管理器、调度器、工作队列、出口)和网络接口被突出显示,而路由器、静态开关、四路分频器和配置总线位于该 tile 之外。
一张 Frostbite tile 的框图:前端、引擎、内存和系统块,其中运行时(帧管理器、调度器、工作队列、出口)和网络接口被突出显示,而路由器、静态开关、四路分频器和配置总线位于该 tile 之外。

其中许多应该都很熟悉。我们关注的是负责上述工作窃取行为的 RUNTIME 域。

编译器将代码拆分成短的段落,这些段落在其输入就绪后便会不间断地运行。它们在引擎中运行,并且大多通过前端像传统计算那样组织起来。每当循环或分支分裂成大小事先未知的并行片段时,正在运行的段落会把后续内容停放为本地内存(帧管理器)中的一个小记录。然后它将新任务放入一个称为工作队列的硬件队列,并自己取走最新的一个。随后,空闲的邻居可以自由地通过网络拉取剩余的任务。随着任务在芯片上任何位置以任意顺序完成,它们的返回数据包会递减停放记录的计数器,并在最后一块到达的瞬间自动唤醒下一段落。

它在硬件中看起来是这样的:

图表:Fig. 9. 各 tile 如何共享工作负载。

我们可以把每个“任务”看作当前的棋盘,再往下一层,多一个皇后。Tile 0 必须为所有可能的皇后配置排队三个任务,然后才能完成当前棋盘状态。它空闲着,所以它取走最新的任务(来自它自己)并运行它。与此同时,它的邻居们已经拿到了其他任务,除了 Tile 5,它重新休眠。

这种行为从未由任何人类指定。我们可以直接将其追溯到特定回归和爬山性能指标上的必要性。

结果

我们在 7 nm 工艺上综合了 Frostbite,在综合时达到 800 MHz 时序,在最终 GDS 中达到 500 MHz。每个 Frostbite quad(一个二乘二的 tile 网格)与四个 L3 节点配对后为 0.792 mm²。我们将一个 Quad+L3 集群与一个现代超标量 CPU 的单核进行基准测试,我们称其为 TCPU(“Traditional CPU”)。这个 TCPU 在相同工艺下为 0.895 mm²,是一个双发射、顺序处理器。†

Frostbite 芯片的版图,一个四乘四的相同 tile 阵列,内存宏以粉色显示。左上角二乘二的 tile 被圈出并标记为 Frostbite quad,左边缘的一个块被圈出并标记为 L3 节点。
Frostbite 芯片的版图,一个四乘四的相同 tile 阵列,内存宏以粉色显示。左上角二乘二的 tile 被圈出并标记为 Frostbite quad,左边缘的一个块被圈出并标记为 L3 节点。

我们在广泛的工作负载上进行了基准测试,从密集的并行内核(如 gemm 和 conv2d),到不规则的分支程序(如 JSON 解析、Huffman 编码、k-d 树和递归 Fibonacci)。一个搜索集工作负载驱动了所有架构优化、ISA 设计、RTL 和验证,并且芯片在 10 个搜索集工作负载和 15 个留出工作负载上进行了评估,包括后来添加的五个实际工作负载(Fig. 3)。

为了公平比较,我们选择首先通过将一个 Frostbite quad 与 TCPU 进行基准测试来测量“单核”性能,因为它们的面积相似。在所有工作负载上,我们平均获得 8.77 倍的每面积性能,而在全部 25 个工作负载上(搜索集和留出集合计),Frostbite 达到 TCPU 每瓦性能的几何平均值 4.59 倍:在 10 个搜索集工作负载上为 6.02 倍,在它从未被调优过的 15 个留出工作负载上为 3.83 倍。正如预期,该架构在高度可并行化的任务上表现最强,但它在分支、动态代码上也优于 TCPU。

柱状图显示 Frostbite quad 相对于 TCPU 在 25 个工作负载上的每瓦性能,搜索集为蓝色,留出评估集为浅蓝色,从 conv2d(评估集)的 23.12x 低至 fib(评估集)的 1.15x,几何均值处有虚线:评估集 3.83x,全部 25 个工作负载 4.59x,搜索集 6.02x。
柱状图显示 Frostbite quad 相对于 TCPU 在 25 个工作负载上的每瓦性能,搜索集为蓝色,留出评估集为浅蓝色,从 conv2d(评估集)的 23.12x 低至 fib(评估集)的 1.15x,几何均值处有虚线:评估集 3.83x,全部 25 个工作负载 4.59x,搜索集 6.02x。
堆叠条形图显示能量占比:TCPU 57% 内存,27% 取指、译码和发射,13% 计算;Frostbite quad 38% 内存,6% 取指、译码和发射,16% 计算,26% 片上网络和调度器,14% 其他;四乘四 Frostbite 40% 内存,7% 取指、译码和发射,18% 计算,23% 片上网络和调度器,11% 其他。
堆叠条形图显示能量占比:TCPU 57% 内存,27% 取指、译码和发射,13% 计算;Frostbite quad 38% 内存,6% 取指、译码和发射,16% 计算,26% 片上网络和调度器,14% 其他;四乘四 Frostbite 40% 内存,7% 取指、译码和发射,18% 计算,23% 片上网络和调度器,11% 其他。

能量分解展示了节省来自哪里。排除时钟分布(占 TCPU 能量的 49%,占 Frostbite quad 的 41%),TCPU 将 57% 的能量用于内存,27% 用于取指、译码和发射指令。Frostbite 将内存降至 38%,取指、译码和发射降至仅 6%。作为交换,它把 26% 用于片上网络和调度器,这是共享工作以及在 tile 之间传递消息的成本。然而更令人兴奋的是,当我们将芯片扩展到 4×4 阵列(四个 quad)时,功耗分布相对相同。在通用多核 CPU 布局中,扩展核心数量需要增加繁重的一致性机制和大缓存,而在运行交互网时,相同的数据局部性规则始终适用,更多核心不会增加系统复杂度。下图说明了这一点。未来几个月,我们将在一组更大的行业基准(如 SPEC 和 PARSEC)上,将类似 mesh 的 Frostbite 配置与具有大缓存以及更大、更宽的乱序 CPU 的多核“TCPU”配置进行基准测试。

并排的示意图平面图:一个带有八个核心的 TCPU,每个核心都有自己的 L1 和 L2,围绕一个大型共享 L3;以及 Frostbite,一个 8×8 的 tile 网格,每个 tile 都有自己的小型内存块。
并排的示意图平面图:一个带有八个核心的 TCPU,每个核心都有自己的 L1 和 L2,围绕一个大型共享 L3;以及 Frostbite,一个 8×8 的 tile 网格,每个 tile 都有自己的小型内存块。

接下来

虽然交互网已经存在超过 35 年,但其生产价值从未完全清晰。从历史上看,探索分布外架构始终存在风险,因为要形成确信需要时间、投资和人力。我们相信 AI 从根本上改变了这些经济账。在追求更高性能和更低功耗的过程中,仍将持续需要对工作负载、ISA 和硬件进行极致协同设计。借助大型智能体集群、复杂的搜索空间技术、精确的护栏、形式验证以及更快的 EDA 工具,AI 系统将能够发现并构建新颖的加速器,其质量超越人类认知。尽管还有更多工作要做,我们觉得现在是向世界展示自主芯片设计的未来可能是什么样子的正确时机。我们计划继续扩大 Frostbite 的开发,包括但不限于:

  • 提供一个软件试验场,让任何人都能在 Frostbite 上运行程序,托管在 FPGA 上。
  • 构建一个初步的操作系统,能够管理硬件资源、多个程序、虚拟化等。
  • 扩展智能体集群,将 Frostbite 提升到更高的每瓦性能,并在更大的工作负载集上针对更广泛的 CPU 集进行基准测试。
  • 发布 Frostbite 的 RTL 和 ISA。

我们玩得很开心!

注释

†出于法律原因,我们无法披露确切的 CPU。

参考文献

  • 1.Laf
  • 3.Tendrils(2026)。“On Interaction Nets。” tendrils.co/blog/2026-04-26/on-inets
  • 4.de Moura, L. 和 Ullrich, S.(2021)。“The Lean 4 Theorem Prover and Programming Language。” Automated Deduction – CADE 28,LNCS 12699,625–635。doi:10.1007/978-3-030-79876-5_37

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗