Newshot

在阿里巴巴 RISC-V 开发板上启动 NixOS

Translation(model translation, not the source's own text)

NixOS 在一款阿里巴巴 RISC-V 开发板上的启动移植

在阿里巴巴上翻找便宜的 Versal 开发套件时,我意外入手了一块知合计算 A210 RISC-V SoC。1

这是一块很酷的板子:底板引出的 IO 多到离谱,更别说 8 核 1.9 GHz 对 RISC-V CPU 来说也绝不含糊。我不确定现在是否会推荐购买任何 RISC-V SoC2,但所有这些开始支持 RISC-V 的发行版总得在 Spike/QEMU 之外的地方跑测试。

A210 框图
A210 框图

我决定把这块板子做成一台 NixOS 构建服务器,这样既能多了解 NixOS 对 RISC-V 的支持现状,也能练一练 Linux 启动移植。

我完整的 A210 NixOS 配置可以在这里找到;我确认了声音、HDMI、蓝牙/Wi-Fi、以太网和 GPU 都能工作,但效果因人而异。

顺便说一句,我用 NixOS

我亲爱的 NixOS
我亲爱的 NixOS

Nix 让交叉编译到 RISC-V 变得轻而易举:


        pkgs = import {
  system = "x86_64-linux";
  crossSystem.system = "riscv64-linux";
};
      

真的就这么简单——构建 pkgs.hello 会产出一个货真价实的 RISC-V 可执行文件(一次性构建甚至不需要 Nix 文件,直接运行 nix build nixpkgs#pkgsCross.riscv64.hello 即可)。callPackage 里的某些黑魔法确保编译期工具为 buildPlatform 构建,而构建产物为 hostPlatform 构建。

在编译一千多个包的过程中,我只遇到两个问题:rust-bindgen 使用了错误版本的 clang,以及 ministream 没有正确配置交叉编译,这两个问题都不是 RISC-V 特有的。

话虽如此,对于 Clang 和 GFortran 这类重量级选手,我确实遇到了一些相当诡异的 OOM 问题。从 x86_64-linux 编译时,我看到每个链接进程的内存占用超过 9GB(!),如果你的 max-jobs/cores 设置在合理值上,这会很快耗尽你所有的内存。我通过临时把构建并行度砍到几乎为零、并把有问题的构建放到夜间运行,绕过了这个问题:


        nix-store --realise /nix/store/...-clang-riscv64-unknown-linux-gnu-21.1.8.drv -j1 --cores 3 --builders ""
      

我(还)没有可用的 RISC-V 远程 Nix builder,但即使有,从我的台式机上交叉编译所有东西也要快得多。交叉编译在 Nix flakes 下会有点别扭,因为你必须以某种方式把 buildPlatform 编码进输出 schema,而 nixosConfigurations 不允许嵌套(nixosConfigurations.x86_64-linux-a210 是合法的,但 nixosConfigurations.x86_64-linux.a210 不是)。

我对这个问题的解决方案是:为每个 buildPlatform 创建一个“包装”NixOS 配置来扩展 nixosConfigurations.a210,从而在 packages.${system} 下暴露 NixOS 配置的相关构建产物(ISO + 刷写脚本):


        packages = forAllSystems (pkgs: let
  nixosCross = self.nixosConfigurations.a210.extendModules {
    modules = [
      ({ ... }: {
        nixpkgs = {
          inherit pkgs;
          overlays = [
            # ...
          ];
          buildPlatform = { inherit (pkgs.stdenv.buildPlatform) system; };
          hostPlatform = "riscv64-linux";
        };
      })
    ];
  };
in {
  inherit (nixosCross.config.system.build) toplevel image initialRamdisk;
};
      

这样一来,nixosConfigurations 就与 buildPlatform 无关了,交叉编译也变得直截了当——在 x86_64-linux 机器上运行 nix build .#image 会如人所愿地使用 x86_64-linux 作为 buildPlatform。

启动流程

好,目标是按 U-Boot FSBL -> OpenSBI -> U-Boot SSBL -> Linux -> NixOS 用户空间的顺序启动,并以厂商的 Buildroot 脚本作为参考。

文章标题:在阿里巴巴 RISC-V 开发板上启动 NixOS

正文: 使用 U-Boot/Linux/OpenSBI 的厂商分支只需要覆盖 src 再打上几个补丁(几乎总是为了修复那些在 nixpkgs 中最新版 GCC/Clang 里已升级为错误的编译警告)即可。我们真正要做的只是通过设置 boot.kernelPackages = pkgs.linuxPackagesFor pkgs.linuxA210; 把厂商内核插进去。

有了引导程序和 NixOS 镜像,我把 A210 插到 MacBook 上并打开了 Fastboot 刷机模式,但令我沮丧的是 macOS 拒绝枚举该设备。起初我以为这块板子是个废品(毕竟它是白送的),但我还没准备就这么轻易放弃希望。

我仔细翻阅数据手册寻找替代引导方法,还研究过用 PD 电阻强制 QSPI 引导(用 NORbert 代替真正的 QSPI 器件)来引导进入 Linux 用户空间,到那时我就可以不依赖 Fastboot 直接刷写 eMMC。但在拿出烙铁之前,我决定先把板子插到另一台电脑上试试,结果它瞬间就识别到了板子。哎呀!

好,Fastboot 能用3,我也能加载刷机器固件并烧写 eMMC(我的 Fastboot payload 基于 openEuler 的 A210 指南,而不是厂商那个要刷 7(!) 个不同分区的脚本),但之后 UART 上依然毫无动静。此时我相当怀疑是我的串口连接有问题,于是我决定在 Pi Pico 上测试一下:果不其然,问题就出在我让 BMP 的 vRef 引脚悬空了。

在上述技能问题(skill issue)上损失了好几个小时后,我迎来了下面这个 panic:


        sbi_trap_error: hart0: trap1: illegal instruction handler failed (error -2)

sbi_trap_error: hart0: trap1: mcause=0x0000000000000002 mtval=0x00000000cc087057
sbi_trap_error: hart0: trap1: mepc=0x000000008000bb24 mstatus=0x0000000a00001800
sbi_trap_error: hart0: trap1: ra=0x0000000080007336 sp=0x0000000080062e68
sbi_trap_error: hart0: trap1: gp=0x0000000082c50aa0 tp=0x0000000082c54c80
sbi_trap_error: hart0: trap1: s0=0x0000000080062eb8 s1=0x0000000080062eb8
sbi_trap_error: hart0: trap1: a0=0x0000000080062eb8 a1=0x0000000000000000
sbi_trap_error: hart0: trap1: a2=0x0000000000000000 a3=0x0000000000000000
sbi_trap_error: hart0: trap1: a4=0x0000000080027c94 a5=0x0000000080007330
sbi_trap_error: hart0: trap1: a6=0x0000000000000004 a7=0x0000000000000010
sbi_trap_error: hart0: trap1: s2=0x0000000080063000 s3=0x00000000fa685000
sbi_trap_error: hart0: trap1: s4=0x0000000080200000 s5=0x0000000000000000
sbi_trap_error: hart0: trap1: s6=0x00000000fff3661e s7=0x0000000000000000
sbi_trap_error: hart0: trap1: s8=0x00000000fbf37c50 s9=0x0000000000000001
sbi_trap_error: hart0: trap1: s10=0x00000000fbf44b90 s11=0x00000000fbf2d228
sbi_trap_error: hart0: trap1: t0=0x0000040000000000 t1=0x000000008156c15d
sbi_trap_error: hart0: trap1: t2=0x0000000002000000 t3=0x000000008156c158
sbi_trap_error: hart0: trap1: t4=0x0000000000000007 t5=0x00000000fa688fff
sbi_trap_error: hart0: trap1: t6=0x00000000fbf2c428
      

我们算 RISC-V 了吗?

从上面的寄存器转储来看,OpenSBI 本身似乎出了问题:


        echo '577008cc' | llvm-mc --triple=riscv64 --mattr=+v --hex --disassemble
      

        vsetivli	zero, 16, e8, m1, ta, ma
      

这证实了我的怀疑:这条非法指令来自某个 ISA 扩展(这里是向量指令)。起初我不明白为什么会这样:CPU 为什么会陷入它自己支持的指令?我查阅了 ISA 规范,发现如果在没有正确配置 mstatus 寄存器的向量上下文位的情况下执行向量指令,就会产生我所看到的这个一模一样的非法指令异常。

大致情况是,处理器在进行上下文切换时进入了 OpenSBI,而那里没有启用向量上下文,但像 memset 这样的某些操作却被优化为使用向量扩展,因为 OpenSBI 是用 -march=rv64gv 编译的。我猜测厂商没有遇到这个问题,是因为他们用不支持向量指令的 GCC 工具链编译了 OpenSBI,但谁说得准呢?回移一个将 -march=generic 设置的补丁解决了问题,现在我们正进入 U-Boot 第二阶段。

此时我可以从 eMMC 手动启动 Linux,但我想花时间把事情做“对”。相比厂商硬编码的启动命令,我更喜欢更通用的发行版启动方式,所以我决定自己编写板级头文件。


        #ifndef __CONFIG_A210_EVB_H
#define __CONFIG_A210_EVB_H

#ifndef CONFIG_SPL_BUILD
#define BOOT_TARGET_DEVICES(func) \
  func(MMC, mmc, 0)
#include <config_distro_bootcmd.h>
#else
#define BOOTENV
#endif

#define CFG_EXTRA_ENV_SETTINGS \
  BOOTENV \
  "boot_loglevel=1\0" \
  "kernel_addr_r=0x82000000\0" \
  "kernel_comp_addr_r=0x8a000000\0" \
  "kernel_comp_size=0x6000000\0" \
  "fdt_addr=0x8c000000\0" \
  "fdt_addr_r=0x9ff00000\0" \
  "ramdisk_addr_r=0x90000000\0" \
  "scriptaddr=0x88000000\0" \
  "pxefile_addr_r=0x88100000\0" \
  "\0"

#endif
      

好——现在 initrd 的大部分过程都能走完,然后 UART 突然没了声音。幸运的是,最后一条消息把问题说得很清楚:


        [    7.010500] clk: Disabling unused clocks
      

这有点 hack,但我决定在内核命令行上设置 clk_ignore_unused,只是想看看能不能拿到更多日志。想象一下我的惊讶:重新烧录后,板子一路进入了 NixOS 用户空间,没有任何问题!尽管我下定决心要到设备树里刨根问底,找出哪个时钟没有被标记为 critical,但当我意识到厂商也在他们的内核 cmdline 里设置了 clk_ignore_unused 时,我决定不浪费时间了。¯\_(ツ)_/¯

如果我不提这一点,那就是我的失职:在如今 AI 辅助的内核漏洞披露每隔一周就登上 LKML 的时代,运行一个旧内核并不能让我晚上睡得更安稳。我研究过回移 Dirty Frag 之类的补丁,但如果攻击者已经能访问我的 tailnet,我早就完蛋了。

GPU 不工作

现在我能 SSH 进去了,就大功告成了,对吧?嗯,厂商明确宣传支持 Vulkan/OpenGL ES,所以我决定在把 GPU 跑起来之前不能算完成。

这需要内核(与实际 GPU 硬件通信的驱动)和用户空间(在设备特定 API 之上实现 Vulkan 这样的统一接口)两方面的支持。对于前者,厂商选择发布一个没有源码的内核模块;固件 blob(附带设备树来解释它)我一般能理解,但我不理解为什么要发布内核模块,原因如下:

内核模块依赖于内核的相关 ABI,构建时所针对的内核和模块将要运行的内核必须几乎完全一致。如果你的 Kconfig 中设置了 CONFIG_MODVERSIONS(应该设置),那么当模块的 vermagic(基本上是一个 ABI 校验和)与运行中内核的 vermagic 不匹配时,内核将拒绝加载该模块。我用的是厂商的 Linux 分支,所以 vermagic 完全匹配——到目前为止一切顺利。

但比较 vermagic 只检查函数原型是否相同;有几个 Kconfig 选项可以改变内核数据结构(如 struct module)的大小、对齐和布局。其中许多与安全或调试相关,而且我这辈子做过足够多的内核漏洞利用,明白引入这种看似不必要的二进制不兼容是有充分理由的。

结果是,除非我把 NixOS 的 Kconfig 调教成能产出一个通过 Linux ABI 兼容性嗅觉检查的内核,否则我无法使用厂商的内核模块。

在阿里巴巴 RISC-V 开发板上启动 NixOS

在寻找替代方案时,我惊喜地发现我的 GPU 已在上游 Linux 和 Mesa 中获得支持!天真如我,当时想:“太好了,我们克隆 Linux 6.18,运行 make -M=$PWD/drivers/gpu/drm/imagination -C vendor-linux/lib/modules/6.6.0/build modules,就能得到一个完全兼容的驱动了!”

然而,DRM 子系统中的若干改动让我的干净移植尝试受挫,于是一时绝望(SLOP 警告),我凭感觉把驱动从 6.18 内核树移植成了一个外部模块,以便针对厂商的 Linux 6.6 分支进行编译。加入大量我既没写也不理解的代码,对运行在超级用户权限下的软件来说尤其糟糕;使用这段代码感觉就像在背上贴了一张“来黑我”的牌子。

如果你在跟着做,我想强调,我的 slop 驱动只用于使用 A210 的 GPU,如果你选择使用它,你应该先让你自己的 clanker 审查一下源码,确保我没有在耍你。4 唉,(在我看来)这仍然比尝试使用预编译的内核模块要好。

我对“编译 nix、复制内核、卡死”的循环有点厌烦了,于是花了几分钟为 Ghidra 搭建了一个 MCP 服务器。然后我让 Codex(不带 Daybreak)比较厂商提供的内核模块与从较新 Linux 移植过来的 slop。

问题在 3 分钟内被定位并修复,而 printk 调试和滥用 debugfs 花了好几个小时都毫无进展。静态分析赢了!

在解决内核侧的毛病之后,我们需要设置 PVR_I_WANT_A_BROKEN_VULKAN_DRIVER 来哄骗 Mesa 让我们使用它,之后我们就能成功绘制三角形了!


        =======================================================
    vkmark 2025.01
=======================================================
    Vendor ID:      0x1010
    Device ID:      0x36104182
    Device Name:    PowerVR B-Series BXM-4-64 MC1
    Driver Version: 109060102
    Device UUID:    4f8b656c3f16826f4c0fb79ad2d8c9a9
=======================================================
[clear] duration=20: FPS: 627 FrameTime: 1.595 ms
[cube] duration=20: FPS: 333 FrameTime: 3.003 ms
[shading] duration=20: FPS: 179 FrameTime: 5.587 ms
[desktop] duration=20: FPS: 68 FrameTime: 14.706 ms
[effect2d] duration=20: FPS: 30 FrameTime: 33.333 ms
[texture] duration=20: FPS: 222 FrameTime: 4.505 ms
[vertex] duration=20: FPS: 253 FrameTime: 3.953 ms
=======================================================
                                   vkmark Score: 2445
=======================================================
      

图表:在 Zink 下运行 glmark2-es2-wayland 的 HDMI 采集(texture 的上下文)

用某本书的封面作为纹理、由 OpenGL 渲染的旋转立方体

在 Zink 下运行 glmark2-es2-wayland 的 HDMI 采集(texture 的上下文)

经验教训

  • macOS 的 USB 支持挺糟糕的(我在 Altera USB-Blaster III 上也遇到过类似问题);如果设备检测不到,换台电脑试试。(为了更新 USB 驱动,我犯了更新到 macOS 27 这种世代级失误,相比之下 Asahi Linux 都显得稳定了。)

macOS 的 USB 支持挺糟糕的(我在 Altera USB-Blaster III 上也遇到过类似问题);如果设备检测不到,换台电脑试试。

(为了更新 USB 驱动,我犯了更新到 macOS 27 这种世代级失误,相比之下 Asahi Linux 都显得稳定了。)

  • 永远不要仅仅因为你觉得应该能工作就假设它能工作(信任,但要验证)。
  • 繁多的内核配置选项让内核模块的 API/ABI 兼容性成为一件苦差事;有源码让问题变得可处理,但仍然不简单。

总的来说,这是一个有趣(虽然并不意外)的项目。我在大学期间设计过一颗功能齐全的乱序 RISC-V CPU,留下了美好的回忆,所以这次技术挑战对我而言格外令人满足。

文章标题:在阿里巴巴 RISC-V 开发板上启动 NixOS

正文: 有点遗憾的是,这台机器不会得到太多使用,但我预计随着 RISC-V 的普及率持续增长,情况会有所改变。另外,我仍然感到震惊的是,NixOS 完全被 SoC 供应商忽视了;我热切期待 NixOS 取代 Yocto/PetaLinux/Buildroot 的那一天。

  • 我以坦率地说好得令人难以置信的 1.2k 美元价格购买了一块 Alinx VD100,所以当我反而收到一块随机的 300 美元 RISC-V 小玩意时,我既失望又不意外。幸运的是,我获得了全额退款并保留了这块板子;我认为这里的“骗局”是把过剩库存的成本冲销为发错货,而不是作为剩余库存处理。↩︎
  • 我不愿意推荐 Microchip 的产品,但 PolarFire SoC Discovery 售价 130 美元,同时兼具 RV64GC SoC 和 FPGA 的功能。↩︎
  • 在我刷入引导加载程序后,我无法让这块板子进入 Fastboot 模式,但这没关系,因为我可以在 U-Boot 中运行 fastboot usb 0 来代替。↩︎
  • 这并不是说你不应该审计其他东西,但如果你是被 PowerVR 驱动以外的东西攻破了,至少你可以从人类(我)笑到了最后这一事实中得到安慰。↩︎
  • 称这个 GPU 为“小巧”都是轻描淡写;作为对比,我的 RX 6700 XT 在同一基准测试中得分为 26230。↩︎

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Lobsters
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗