Newshot

让你的 LLM 只接受已签名的提示词

Translation(model translation, not the source's own text)

让你的 LLM 只接受已签名的提示词

几周前,某个天才萌生了一个想法:把一颗 RISC-V 处理器集成进本地 LLM 模型里。其他人很快就把这个想法改造成了完全无意义但很酷的玩意儿。

虽然这个想法让我大开眼界,但我觉得它可能有实际的应用价值。我本人没什么创造力,所以我的想法是:我们能不能把一颗安全处理器集成进 LLM?

https://github.com/moonlightelite/secproc

https://huggingface.co/timlauHF/Qwen3.5-4B-signed-input-demo

LLM 输入存在的问题

当前的 LLM 有一个巨大的问题——它的输入和输出都没有任何验证。一个没有外部护栏和引导的 LLM,会欣然接受任何输入并在其上工作。

想象一条流水线,每个阶段都是不同的 LLM。这个系统可以是一系列任务的串联。每个阶段都依赖上一阶段的输出。例如,可能有一个与客户交互的聊天机器人,并生成一组广告活动素材,比如图像、视频和音频。在这条流水线中,你需要一个用于聊天机器人的文本 LLM、一个从聊天记录中提取意图的意图提取 LLM、一个广告活动规划 LLM(配有它可以调用的各种工具来收集数据),以及可能专精于图像、视频或音频创意生成的领域特定多媒体 LLM。

流水线中每个阶段的 LLM 都会接受文本输入,对其进行转换,然后把输出交给流水线的下一阶段,全程没有任何验证。

如果消息在传输途中被篡改了呢?如果有人试图对输入进行提示词注入呢?

问题在于输入的来源。我们如何证明输入提示词来自预期的发送者,并且提示词没有被篡改过?

对输入提示词进行签名

大家都知道密码学签名是什么,但我还没见过有人把它和 LLM 结合起来。请允许我向你们展示我在 Claude 里花一个周末鼓捣出来的东西——

https://github.com/moonlightelite/secproc

# secproc:一个内置于 LLM 权重中的 Ed25519 验证器secproc 让语言模型拒绝处理任何未携带来自可信密钥的有效 Ed25519 签名的消息。Ed25519 是一种公钥签名方案。发送者用密钥签名,任何持有匹配公钥的人都可以验证签名。这项检查并不存在于提示词、系统消息或模型外部的包装层中。相反,一颗小型 CPU 被编译进模型的权重里,由模型的层来模拟它。这是一颗 RISC-V CPU(RISC-V 是 CPU 指令的开放标准)。这颗 CPU 运行真正的签名验证器:Monocypher 的 Ed25519,设置为 Ed25519 标准的严格形式,即 RFC 8032。(Monocypher 是一个小型 C 密码学库。)一个同样内置于权重中的裁决器决定模型接下来可以说什么。它可以强制输出拒绝。模型把输入读作 token(文本的小片段,每个都有一个数字 ID)。输入中被签名的部分称为签名区域。它位于两个标记 token 之间。结果要么是签名有效→提示词被处理,要么是签名无效→提示词被丢弃。

secproc:一个内置于 LLM 权重中的 Ed25519 验证器

secproc 让语言模型拒绝处理任何未携带来自可信密钥的有效 Ed25519 签名的消息。Ed25519 是一种公钥签名方案。发送者用密钥签名,任何持有匹配公钥的人都可以验证签名。

这项检查并不存在于提示词、系统消息或模型外部的包装层中。相反,一颗小型 CPU 被编译进模型的权重里,由模型的层来模拟它。这是一颗 RISC-V CPU(RISC-V 是 CPU 指令的开放标准)。这颗 CPU 运行真正的签名验证器:Monocypher 的 Ed25519,设置为 Ed25519 标准的严格形式,即 RFC 8032。(Monocypher 是一个小型 C 密码学库。)一个同样内置于权重中的裁决器决定模型接下来可以说什么。它可以强制输出拒绝。

文章标题:让你的 LLM 只接受已签名的提示词

正文: 模型将其输入读取为 token(文本的小片段,每个都有一个数字 ID)。输入中经过签名的部分称为签名区域。它位于两个标记 token 之间。结果是:签名有效→提示词被处理,或签名无效→提示词被丢弃。

运行所需条件

https://github.com/moonlightelite/secproc/blob/main/docs/quickstart.md

  • 来自 Hugging Face 的集成了 Ed25519 验证器的 Qwen 3.5 LLM
  • 一个经过补丁修改的 llama.cpp 版本,允许将 RISC-V 固件加载进 LLM
  • (可选)支持 CUDA 的 GPU,但我也成功在 Apple M1 和普通的 12 核 X86 CPU 上运行了这套栈。不过要准备好等待相当长的时间才能完成计算。

secproc 原型有 2 种模式——stub 模式和真正的 Ed25519 模式。

  • stub 文件是测试版本。它校验一个短的校验和,而不是真正的签名,因此并不安全。即使在 CPU 上也能在大约一分钟内完成。
  • Ed25519 文件校验真正的 Ed25519 签名。那是一条 630 万 token 的流。在快速的 NVIDIA GPU 上大约需要 2 分钟,在 Mac 上大约需要 3 小时,在 CPU 上需要数小时。

性能

校验一个真实 Ed25519 签名(一条 630 万 token 的流)所需的时间:

  • NVIDIA RTX PRO 6000(PCIe x16),两个文件都在 GPU 上 大约 2 分钟(119 到 127 秒,约 50,000 token/s) 22.5 GiB 显存占用

NVIDIA RTX PRO 6000(PCIe x16),两个文件都在 GPU 上

  • 大约 2 分钟(119 到 127 秒,约 50,000 token/s)
  • 22.5 GiB 显存占用
  • Apple M1 Pro,32 GB,全部在 Metal 上 大约 3 小时(推算,555 token/s) 17.3 GiB

Apple M1 Pro,32 GB,全部在 Metal 上

  • 大约 3 小时(推算,555 token/s)
  • Linux CPU,12 核,12 线程 大约 3.7 小时(推算,466 token/s)17.3 GiB

Linux CPU,12 核,12 线程

  • 大约 3.7 小时(推算,466 token/s)

在所有平台上,紧凑文件比完整文件快约 2 到 3 倍。更长的提示词只会增加一点开销:每多一个提示词 token,会给这 620 万 token 增加约 1,000 个 token。Mac 上的数字在每次运行之间差异很大,因为 macOS 的后台工作会共享 GPU。

安全考量

由于公钥就在 LLM 内部,能够访问模型文件的攻击者可以从 LLM 文件中提取该密钥。一旦攻击者拿到密钥,他就可以创建自己伪造的 LLM,并将自己的密钥集成进模型。

如果你还打算用私钥对输出进行签名,这一点就加倍重要——同样,如果攻击者能够访问模型文件,他就可以从模型文件中取回私钥。

这意味着对模型文件本身的访问应当受到防护——至少,在用户可以信任该 LLM 之前,应当用可信的权威机构校验 LLM 模型文件的哈希值。此外,可能还需要考虑计时攻击,利用侧信道来猜测私钥。

对于这个原型,我决定把公钥硬编码进模型,不过完全可以在模型初始化期间提供公钥。这将允许模型动态更改可接受的密钥。与此同时,LLM 计算栈会变得更复杂,所以我没有构建这一点。

最后感想

我觉得将安全处理器集成进 LLM 这个想法非常迷人。目前 LLM 只是一大堆 transformer,只要你有模型文件,就可以用 LLM 为你干活。没有什么能为用户和 LLM 双方都提供 CIA 三要素。安全处理器将在解决部分安全问题上大有帮助。

我把这种情况比作游戏机——只要攻击者能接触到物理设备,就能做很多事。然而,人们最终会设法收紧游戏机的安全态势,攻击者获取底层硬件访问权限变得越来越难。LLM 会走同样的路吗?会不会有一天,某家公司出售一种专有的 LLM-in-a-box 解决方案,它只接受签名输入(在你向该公司付费订阅之后),并输出签名输出?但愿不会。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗