
Android 的源代码非常庞大——Android 17 开源版本包含 1,084 个 Git 仓库、162 万个文件,构建完成的工作区占用 300 GB。此外,在一个包含硬件厂商代码和第一方应用的典型 Android 源码树中,体积还会增加 2-3 倍。传统上,获取 Android 开源项目(AOSP)源代码需要超过 30 分钟,即使在性能强劲的开发者工作站上构建也需要一个多小时。随着过去两年软件开发方式的演进,现代编码工具链和 LLM 加速了许多项目的开发。这些工具如今已被用于 Android 操作系统开发,但漫长的同步和构建时间降低了它们的效率。无论是人类开发者还是智能体,都需要快速的环境搭建、并行工作区以及快速的构建-测试迭代周期。
我们构建了 Another Build File Service(ABFS)来解决这些瓶颈。ABFS 是一套完整的软件栈,涵盖 Linux 内核文件系统模块、用户态守护进程以及服务端基础设施。ABFS 在整个技术栈中采用内容寻址机制,以惰性加载和缓存源代码、开发者工作区、中间构建文件和构建结果。
今天,我们很高兴地宣布 ABFS 已在 GitHub 上开源。ABFS 对 Android 的影响如下:
- 将检出时间从约 36 分钟缩短至 8 秒以内。
- 将完整构建时间从约 80 分钟缩短至仅 2 分多钟。
- 实现了跨多个工作区和智能体编排器的并行智能体工作流。
- 共享缓存可在持续集成(CI)和开发者工作区之间复用高达 100% 的构建动作。
ABFS 已经在为 Android 中的开发者和智能体提供并行工作流支持,但它的设计目标是扩展到其他大型基于 Git 的项目。
案例研究:Android
在 Android 构建系统中,开发者在 Blueprint 文件(Android.bp)中定义构建规则,Soong 将其编译为 Ninja 文件,再由 Ninja 执行最终的构建图(参见 Android 构建概览)。与 Make 构建工具类似,Ninja 是基于时间戳的。如果某个构建步骤的输入文件比现有的输出文件更新,Ninja 就会重新构建该输出文件。
代码规模
对 Android 17 的 AOSP 代码进行分析,可以看单次检出和构建所涉及的磁盘占用和文件数量。

在一个包含硬件专属仓库、板级支持包、第一方应用、特定形态设备代码等的典型 Android 源码树中,代码规模是 AOSP 的 2-3 倍(超过 3,000 个 Git 仓库),并且会在多个活跃 SKU 和遗留维护分支上叠加。
构建可缓存性
构建 Cuttlefish 模拟器目标会执行包含 192,249 个 Ninja 动作的构建图。虽然源码树已经构建过之后,本地增量构建很快,但每个新工作区、分支切换或临时智能体会话都从冷启动开始。尽管开发者通常的改动只涉及 1-10 个不同的 Git 项目,但在没有远程执行的本地构建中,在 64 核机器上可能浪费多达 80 分钟去重复 CI 系统已经完成的构建工作。即使开发者只是修改了像 system/libbase 这样的核心库,构建图中仍有 97% 与 CI 构建完全相同。
未声明的依赖
在 Android 这样历史悠久且变更频繁的代码库中,跨 CI 和本地机器共享缓存的构建输出也很棘手。构建规则偶尔会引入隐藏依赖(例如在原始编译器标志中传入未声明的 schema 文件)、过度声明的输入或未声明的输出。在基于时间戳的构建中,隐藏依赖会悄无声息地产生过期的增量产物,迫使开发者清空输出目录并执行完整构建。
解决方案:ABFS
加速大规模 Git 仓库的开发
ABFS 通过用虚拟的、内容寻址的文件系统(CASFS)替代庞大的本地源码检出,让 Android 构建变得快速。ABFS 仅在构建实际访问文件时才按需流式传输,并利用共享构建缓存来帮助消除冗余的下载和编译。

在服务端,Git-pushers 持续将来自 Gerrit 或其他 Git 托管平台的新 Git 对象摄取到一个可水平扩展的 gRPC ABFS 内容寻址存储(CAS)服务器中,该服务器会对 Git 内容、工作区快照和构建步骤结果建立索引。在开发者主机上,本地的最近最少使用(LRU)Cacheman 守护进程、Mount Daemon 和 Tap 工具将用户空间的构建工具连接到内核文件系统,使检出和构建只流式传输它们所需的内容。在 GitHub 上查看完整的 ABFS 架构。
文件系统
客户端的核心是一个名为内容寻址存储文件系统(CASFS)的虚拟文件系统,它是一个 Linux 内核模块,通过扩展属性暴露 Git SHA 内容哈希。当设置文件的哈希时,CASFS 会立即填充其元数据,并仅在需要时通过 Cacheman 下载文件字节:
$ touch hello
$ abfs hash --set cc628ccd10742baea8241c5924df992b5c019f71 hello # metadata only
$ ls -l hello # name and size are available; content is not downloaded yet
-rw-r----- 1 user primarygroup 6 Nov 3 00:11 hello
$ cat hello # content is lazy-loaded on first read
world
初始检出只下载预先填充了 Git 哈希的轻量目录元数据。CASFS 原生使用 Git 的对象模型,使标准的 git 和 repo 操作能够透明地工作。
正确的两阶段构建缓存
CASFS 还可以接入构建进程。接入会将实际读取、写入或删除的每个文件记录到称为 patch 的列表中,这些列表与缓存的构建输出一起存储。Ninja-go 用两阶段内容寻址缓存取代时间戳检查:
- 阶段 1 - 声明键查找:Ninja-go 对某步骤的命令、环境和声明的输入哈希进行哈希计算,以从先前的 CI 或开发者构建中获取候选结果。
- 阶段 2 - 读取 patch 验证:在接受并应用候选结果之前,ABFS 会根据当前 CASFS 状态验证候选者记录的读取 patch。在常见情况下,该读取 patch 将与文件系统状态匹配,然后应用写入 patch。如果即使在磁盘上存在哈希不同的隐藏依赖项,ABFS 也会拒绝过期的候选者,并在启用接入的情况下重新运行该步骤。即使构建图不完整,这也能保持干净构建的正确性。
Ninja-go 加速了基于 Ninja 的构建,例如 Android 和 Chrome;其他构建系统可以使用相同的模型与 ABFS 的缓存 API 集成(请参阅 GitHub 上的两阶段缓存演练)。
同步工作区
每个挂载的检出都会附加到一个持久工作区,该工作区通过 Cacheman 主动将修改的文件、git 状态和 repo 状态同步到 ABFS CAS 服务器——从而在跨会话或跨多个开发者主机时保持挂载同步。
Sorry, your browser doesn't support playback for this video
结果
以下基准测试显示了在具有 64 个 vCPU 和 256 GB RAM 的 GCE n2d-standard-64 VM 上 3 次 Android 运行的平均时间。ABFS 远程服务器与客户端运行在同一云网络中。
源码检出

Sorry, your browser doesn't support playback for this video
构建

Sorry, your browser doesn't support playback for this video
检出和构建演示
指向 Youtube 视频的链接(仅在禁用 JS 时可见)
解锁智能体开发
文章标题:加速大规模 Git 仓库的开发
正文: 由于 ABFS 实现了延迟加载和本地缓存去重,开发者和他们的 agent 现在可以在单台机器上挂载多个并发的 Android 工作区,受益于共享的本地构建缓存,并在开发时间上实现大规模扩展。
# 在 8 秒内并排挂载 5 个不同的 Android 发布分支
$ abfs mount -b android-latest-release /ws/a17
$ abfs mount -b android16-qpr2-release /ws/a16qpr2
$ abfs mount -b android16-release /ws/a16
$ abfs mount -b android15-release /ws/a15
$ abfs mount -b android14-release /ws/a14
一个 agent 可以在 10 秒内检出完整的 Android 树,并在 10 分钟内完成完整构建。Agent 集群能够并行地迭代、审查和测试,这可以带来更高质量的解决方案和速度。在下面的演示中,一个 agent 在最新的 AOSP 版本上对 system/libbase 进行修复,随后 4 个并行 agent 同时在单台 VM 上将该修复向后移植、构建并测试到另外 4 个 AOSP 版本上。
抱歉,你的浏览器不支持此视频的播放
Agent 开发演示
YouTube 视频链接(仅在 JS 被禁用时可见)
扩展到 Google 和 Android 之外
我们将 ABFS 作为开源发布,是因为我们希望开发者、Android 合作伙伴以及任何基于 Git 的大规模项目都能受益于我们所学到的经验,并实现规模化。
虽然 Android 的 Soong/Ninja 流水线是第一个加速目标,但 ABFS 的构建目标是可扩展到其他构建系统。像 Bazel 这样内容寻址的构建系统可以自然地映射到 CASFS 上,并且已经有一个与 Bazel 的概念验证集成。Chromium、Android Common Kernel 以及其他 Google 项目正在探索 ABFS 兼容性。
在 GitHub 上探索 ABFS、CASFS 和 Ninja-go,并通过 [email protected] 联系我们。
如需 Google Cloud 服务端、基础设施即代码以及面向 Cloud Workstations 和 Kubernetes 的 CASFS 方面的帮助,请联系 [email protected]。
致谢
我们要特别感谢为本项目做出重要贡献的各位:
Haamed Gheibi、Erik Sanders、Rob Seymour、Taylor Santiago、Andrew Hsieh、Eric Taseski、Kiyoung Kim、Hung-Wei Chen、Jose “Pepe” Galmes、Ronald Li、Yu-Che Wang、Roger Ellis、Sandeep Patil、Amith Dsouza 以及整个 Android Build 团队
像 {{NAME_ab12cd34}} 这样写出的值是实际值的占位符。在回复和工具调用中都请完全按照其写法使用它们:它们会在任何内容运行之前被填入实际值。不要要求验证它们,也不要将其替换为示例。