Newshot

提示词金丝雀可检测 AI 服务商的提示词泄露

Translation(model translation, not the source's own text)

Prompt Canaries 在 AI 供应商处检测提示词泄露

  • 追踪推理数据
  • 为什么 AI 推理数据很重要?
  • AI 路由器如何暴露你的提示词?
  • 三家受害企业
  • 市场转售商窃取了客户提示词
  • 隐私设置与保留政策被忽视
  • Canary token 如何检测提示词泄露?
  • 我们采取了什么行动
  • 你如何保护自己的 AI 供应链?

HD Moore,Dragos 首席研究官,将定期分享他所领导的研究团队的工作成果。主题将涵盖 xOT、IT、LLM、PQC 等。他们的发现将加深防御者对威胁态势中不断涌现的暴露面与漏洞的理解。

我们向 AI 供应商发送了近两百万条包含唯一、可追踪秘密的 AI 提示词,然后观察这些秘密在何处浮现。我们的发现揭示了安全漏洞、提示词窃取,以及客户数据保护方面的普遍失效。

在 2026 年 7 月至 11 月的五个月期间,我们向广泛使用的 AI 服务提交了约两百万条包含唯一 URL 和 canary token 凭据的提示词,并监控推理之后发生的事情。我们的调查揭示了三个重要发现:

  • 供应商被攻陷的证据。我们观察到有活动表明,至少三家 AI 供应商的数据被暴露。我们植入的测试提示词被用于尝试访问我们控制的测试系统和 canary AWS 账户。
  • 推理市场供应商未经授权访问客户提示词。多家通过某个 AI 推理市场运营的转售商,能够利用标准日志功能查看并保留客户提示词,既未利用漏洞,也未绕过平台控制。
  • 隐私与数据处理实践方面的失效。我们观察到多起供应商似乎未遵守客户隐私设置或已公布政策的情况。示例包括:提交给美国供应商的提示词被传输至中国的 AI 组织;唯一 URL 在单次推理请求数月之后仍被访问;以及一个植入链接最终出现在中国某公司的内部聊天中。

追踪推理数据

我们希望了解推理数据离开客户环境之后会发生什么。

为了回答这个问题,我们创建了数百万个唯一 canary,包括合法系统永远不会使用的 URL 和凭据。任何访问这些资产的尝试,都表明 AI 生态系统中某个地方的某个人看到了原始提示词。

结果揭示了 AI 服务的营销方式与推理数据的实际处理方式之间的根本性脱节。

为什么 AI 推理数据很重要?

大多数人将 AI 推理想象为一个问题和一个回答。文本输入,GPU 处理一些位,文本输出。复杂之处在于数据实际被如何对待。

AI 供应商通常出于运营、训练、安全、滥用监控或商业目的存储提示词和响应。视供应商而定,这些数据可能被保留数天、数月或无限期。它还可能流经多个组织,包括模型开发者、云运营商、推理平台和第三方转售商。

提示词和回复——即推理数据本身——往往比处理它们所用的 GPU 资源更有价值。它们经常包含机密源代码、内部通信、战略计划、客户信息、凭据以及其他敏感业务数据。

AI 路由器如何暴露你的提示词?

AI 路由器通过提供单一的 API 端点来工作,将你的请求转发到一个可用模型池,有时这些模型位于不同的托管服务商处,并统一计费。路由器在降低成本方面表现出色,且无需管理多个账户和凭证即可提供灵活性。通往推理服务器的路径通常要经过多个路由器,然后才能到达另一个服务商,再从那里到达托管目标模型的具体服务器。这个过程存在风险——每一跳都能看到完整的提示词和响应。

有些路由器是开放市场,出价最低的卖家获得请求。卖家以大幅折扣提供 AI 推理服务很常见,他们可以通过将请求汇集到不计量消费套餐订阅中,或找到通往特定模型的其他低成本路径(创业公司额度等)来实现这一点。在更阴暗的市场中,还常见到将推理费用计入被盗的 AWS 凭证或消费者 API 密钥的情况。如果卖家想窃取客户请求数据,他们可以以最低价格列出热门模型,路由流量,支付差价,然后从平台日志中收集数据。

这些服务商提供隐私控制——客户可以在账户级别、针对特定 API 密钥或在每个请求中设置隐私标志。最严格的设置称为零数据保留(Zero Data Retention,ZDR),规定提示词和响应不被存储。路由器应仅将这些请求转发给提供相同控制的服务商。现实情况却大不相同——服务商经常忽略这些设置,无论是故意的还是由于其处理流程中的缺陷,而未被 ZDR 覆盖的提示词则可以随意转售给一个庞大的买卖双方生态系统。

三家被入侵的公司

最严重的发现也最为直接。我们发现攻击者正在积极从三家不同的托管服务商处窃取数据。虽然我们的提示词是诱饵,但它们与真实客户请求一起被处理,而那些请求几乎肯定也被复制了。最早的事件可追溯到七月中旬,而这三家服务商在我们通知他们之前,都不知道自己已被入侵。

最大的入侵涉及我们的几百个 AWS 密钥。每个密钥都只在一个请求中发送给一个服务商,全部发生在十月下旬的几个短窗口内,而在那些窗口期内我们发送的每一个请求都被窃取了。一些被盗密钥来自服务商在模型运行之前就拒绝的请求——这告诉我们,攻击者是在服务商的前门复制请求,而不是在推理栈更深处的某个地方。在另外两起入侵中,一些被盗请求被标记为 ZDR。当攻击者已经在内部时,隐私标志毫无帮助。

一旦攻击者获得了我们的凭证,他们就沿着一条可预测的路径行动。首先,他们测试每个密钥是否有效,在某些情况下是在我们请求后的几小时内。接下来,他们寻找数据,列出 S3 存储桶并搜索 Secrets Manager 和 Parameter Store。最后,他们尝试在 AWS Bedrock 中启用托管模型,创建 Bedrock API 密钥,并添加自己的 IAM 用户以保持访问。总的来说,我们的诱饵密钥被用于数万次 AWS API 调用。

Figure 1 in Blog for stolen aws key
Figure 1 in Blog for stolen aws key

图 1. 一个被盗的 AWS 密钥。我们于 10 月 21 日植入它,它于次日首次被使用,三周后仍在使用中。姓名为化名,地址部分遮蔽。

文章标题:Prompt Canaries 在 AI 提供商处检测提示词泄露

正文: 有一名攻击者似乎同时攻陷了其中两家提供商。我们发送给这两家提供商的密钥被一并使用,几乎立刻从一个租用的服务器上发起。在我们观察的三周内,攻击者的工具不断变化——起初是一个伪装成 Windows 上 Chrome 的脚本,随后改为在 OrbStack 内运行的 Boto3,后来又换成了 Kali Linux 上的 AWS CLI。

11 月 1 日,同一名攻击者添加了 ARTEX,一个由 LLM 驱动的渗透测试框架。在我们的案例中,ARTEX 做的事情很少——它发起了少量调用,以确认攻击者已经持有的密钥是否仍然有效。它发送的两个 user agent,artex-agent 和 artex-judge-r121,在我们能找到的任何公开指标列表中都未出现,值得加入你的检测规则。

博客图 #2 攻击者工具
博客图 #2 攻击者工具

图 2. 针对我们植入的密钥所使用的工具,包括 AI 渗透测试代理(第一行)和 Kali 环境(aws-cli 行)。

对防御方来说的好消息是,这些工具往往会自我暴露——Kali 和 ARTEX 都出现在了 AWS 记录在 CloudTrail 中的 user agent 里。坏消息是,这种自我标识只出现在很小一部分流量中。

市场转售商窃取了客户提示词

第二项发现根本不需要任何漏洞利用。我们抓到的市场卖家只需以最低价格上架一个模型,开启请求日志记录,然后等待即可。引人注目的是其个人化程度——这些是个人,从看起来像家庭网络连接和个人电脑的环境操作,一次一个登录地试图闯入我们的金丝雀服务器。

在一个案例中,我们通过单一卖家的报价发送了两条提示词。大约一天半后,一个家庭宽带连接上的人用桌面浏览器打开了两个秘密 URL,并开始在登录页面猜测用户名。通过另一个卖家发送的同一模型的提示词从未被触碰,这告诉我们泄露跟随的是卖家,而非整个市场。

在另一个案例中,一名从法国一家家庭宽带线路上的 Mac 操作的攻击者,取走了我们两条提示词中的密码,并尝试通过 SSH 以 root 身份登录,每一次尝试都是手动输入的。同一台 Mac 后来在单个会话中测试了我们的多个 AWS 密钥。

图 3 博客 SSH root 尝试
图 3 博客 SSH root 尝试

图 3. 其中一次 root SSH 尝试。我们提示词中的密码在两分钟内被使用了四次,路由追踪显示了该提示词经过的两个路由器。

这些密钥中的大多数是通过市场发送的,但有一个流向了完全不同的路由器。结果发现,这个路由器在悄悄地将部分流量转发给市场——这是又一个未披露的跳点。

隐私设置和保留策略被无视

第三项发现与前两项不同,因为没有人使用凭据。相反,我们提示词中的秘密 URL 被反复抓取,它们引用的 git 仓库被列为克隆目标——所有这些都来自那些本就不该看到提示词的公司,而且往往与请求上的隐私设置直接冲突。

文章标题:Prompt Canaries Detect Prompt Leaks at AI Providers

正文: 最明显的例子涉及一家中国 AI 实验室。该实验室的系统从我们在 7 月至 10 月间发送给其模型的一半以上提示词中获取了这些秘密 URL,其中包括约三分之二的标记为“不收集数据”或零数据保留(Zero Data Retention)的请求。抓取器通常在请求发出两到三天后出现。

这并不限于直接发送给该实验室的请求。多家美国托管服务商转售该实验室的模型,而发送给这些服务商的提示词触发了完全相同的抓取器——提示词正流回该实验室。一位特意选择美国服务商以将数据留在美国的客户,并没有得到他所付费购买的服务。后来,另一家云上的一个 git 客户端开始尝试克隆我们提示词中引用的私有仓库,但仅针对使用该实验室模型的提示词。

美国的大型服务商也有自己的问题。其中一家在我们向其搜索端点发起一次推理调用并使用某个秘密 URL 之后,持续抓取该 URL 超过两个月。另一家运营的抓取器会在每次请求发出数天后回访我们的 URL,无论我们使用哪个路由器访问它。

Blog Figure #4 Incidents by Network
Blog Figure #4 Incidents by Network

图 4. 一天内的事件,按来源网络分组。相同的抓取器网络出现在我们通过多个不同路由器发送的提示词上。

最奇怪的事件涉及一次公司聊天。在我们向一家中国服务商发送提示词 24 天后,该提示词中的秘密链接被发布到了一个飞书聊天频道中(飞书在中国以外称为 Lark)。两分钟内,该链接从北京和上海的三个桌面端和三个手机端被打开。我们向该服务商披露的信息仅包含该链接的前八个字符,因此分享链接的人读取的是完整提示词的存储副本,而此时距该请求以 ZDR 标记发送给一家位于美国的服务商已过去三周多。

Blog Figure 5 Feishu Chat
Blog Figure 5 Feishu Chat

图 5. 秘密链接在聊天中被分享,随后在移动应用中被打开。git 客户端是较早的克隆尝试。

零数据保留本应意味着某些东西。实际上,这些提示词被保留、被与其他公司共享,并被人读取。

金丝雀令牌如何检测提示词泄露?

金丝雀令牌是一种只存在于一个地方的秘密——如果有人使用了它,你就知道那个地方已经暴露。我们在 7 月开始在提示词中植入 Thinkst Canarytokens,每个请求都携带一个 AWS 密钥、一个 DNS 名称和一个从未在任何其他地方出现过的 URL。令牌在几天内就开始触发,而 7 月的令牌至今仍在触发。

文章标题:Prompt Canaries Detect Prompt Leaks at AI Providers

正文: 这个概念验证效果非常好,以至于专门构建一个服务来为 LLM prompt 植入种子变得顺理成章。该服务会生成一个唯一的种子,并用它为每个 prompt 派生唯一的主机名、URL 和凭据,然后运行这些凭据所指向的服务——DNS、web、git、SSH、数据库、邮件,以及一长串较老的协议。AWS 密钥是真实的密钥,绑定到启用了完整日志记录的空账户。每一个触及令牌的请求都能追溯回携带它的确切 prompt、模型、路由器和隐私设置。由于每个唯一组件都能追溯回其父种子,我们能够获得精确的时间和顺序信息;我们知道它们使用哪台 DNS 服务器、回复花了多长时间,以及入站连接的每一个细节(TCP、TLS SNI、HTTP Host 头、URL、凭据等)。

Blog Figure 6 Console Overview
Blog Figure 6 Console Overview

Figure 6. 控制台概览,显示每日事件和植入种子的 prompt,按处理该 prompt 的路由器拆分。

金丝雀能告诉我们某个 prompt 泄露了,但无法告诉我们泄露发生在链条的哪一环,因为一个路由器通常只报告单一的上游提供商,而该提供商往往又只是另一个路由器。为了弄清楚到底是谁在处理我们的请求,我们构建了类似 traceroute 的东西,用于 AI 推理。第一部分很简单——我们在请求中包含一个指向我们服务器的图片 URL,每一个抓取它的系统都会暴露一个 IP 地址、一个 HTTP 客户端和一个时间戳。

第二部分利用了这些服务的堆叠方式。我们发送小的、略微损坏的请求,由于每个路由器往往会用自身的格式包装来自其后一跳的错误,单个响应可能包含三到四层嵌套的“信封”。将每一层与签名数据库进行匹配,就能得到跳数列表、每一跳的软件、它们使用的网络,而且常常还能得到运营它的公司。

到目前为止,我们已经追踪了大约两千条路由。其中几百条包含了一个我们无法识别的系统,还有少数几条把我们的图片发送给了一家根本不在宣称路径上的公司。追踪还发现了路由从未提及的中间层——一个市场卖家悄悄地为每个 prompt 添加了约一千个隐藏令牌,另一个则通过一个共享的消费者订阅账户来抓取图片。

Blog Figure 7 Route Trace
Blog Figure 7 Route Trace

Figure 7. 一个 LLM 路由追踪的示例,显示从 SurplusIntelligence 到 Anthropic 的路径。OpenRouter 这一跳是通过追踪发现的,市场中并未披露。

我们采取了什么措施

每一起事件都会连同其证据一起存储——原始 prompt、它经过的路由、随后的每一个连接,以及我们的记录。第一起事件发生在七月中旬;该提供商起初认为这是内部工具的配置错误,然后认为是合作方数据处理的问题,直到调查发现了攻击者还入侵了他们内部凭据的证据。该提供商至今仍未公开披露这一事件,并且截至十月下旬,被盗数据仍在导致登录尝试。

对于十月下旬的第二批入侵事件,我们在确认数据提供了第三方访问的证据后立即联系了相关方,其中一家提供商已经发布了初步安全通告。

文章标题:Prompt Canaries Detect Prompt Leaks at AI Providers

正文: 对于数据共享这类不太严重的问题(但不包括凭据滥用),我们从11月初开始通知相关提供商。每份报告都包含了被盗请求的列表,以及他们可以在自己日志中搜索的唯一字符串。我们目前正在与大约十二家提供商合作,预计这一范围还会扩大。

各方反应不一。那个将流量转发到该市场的路由器告诉我们,他们已经停止了相关行为,另有几家提供商也已回应并启动了自己的调查。另一方面,被盗的密钥和秘密 URL 仍在被访问,甚至在最初事件发生数月之后依然如此。

如何保护你的 AI 供应链?

这一切并不意味着你应该停止使用 AI 服务。它意味着你的 prompt 流向何处是一个需要你做出的决定,如果你不做这个决定,最低价格就会替你做出决定。请记住,隐私标志只约束第一跳,而 AI agent 会乐于发送它能读到的任何内容,包括凭据。

  • 如果负担得起,就自己托管。这是唯一一种别人无法读取你 prompt 的选择,但硬件并不便宜。一台 512 GB 内存的 Mac Studio 起价 $22,299,NVIDIA 的 DGX Spark 现在售价 $6,950,一台 DGX Station 起价约 $105,000,而一台八 GPU 的 B300 服务器标价 $570,000 或更高。对大多数团队来说,这只对最敏感的工作才划算。
  • 直接使用第一梯队提供商。一家公司、一份合同、一份隐私政策需要阅读。这仍可能通过数据共享协议或提供商处的泄露而外泄,但这是你能买到的最小暴露面。
  • 谨慎使用路由器。自己选择上游提供商,而不是接受默认池,并验证你的隐私设置是否真的改变了请求的去向。远离转售市场——其中一些容量来自被盗密钥,而其中一些服务只接受加密货币是有原因的。
  • 植入你自己的 canary。在你的 agent 和流水线已经发送的上下文中加入一个假凭据,并将它的任何使用都视为安全事件。来自 Thinkst 的免费 Canarytoken 就足以让你今天就开始。
  • 启用 secret filtering。一些提供商提供设置,可以自动从 prompt 数据中清除已知的凭据格式。这不会有坏处,但它不是万灵药——prompt 中有大量敏感数据并不具有 API 密钥的形式。

这项研究工作感觉很像我们在 Dragos 用 runZero 所做的事情:用少量数据从多个视角提供对网络的全面视图。你想不想对自己的环境拥有这种可见性?

开始 runZero 试用

PS. 如果你觉得这有意思,可以看看 Lauren Proehl 的文章《我故意泄露凭据四个月。以下是获取它们的人,以及他们接下来做了什么》。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗