Newshot

研究人员在AI供应链中植入200万个“金丝雀”陷阱,隐私灾难浮出水面

AI summary

研究人员通过AI服务网络发送的请求中植入了200万个数字陷阱,以追踪敏感信息的下落,结果发现整个生态系统像筛子一样泄露高度敏感的数据。这一暴露是通过一项巧妙实验发现的,旨在测试敏感信息是否会经由广泛使用的AI服务链条泄露,以及泄露后如何被利用。如今许多AI应用使用OpenRouter或Vercel等充当中间商的服务,这些“AI路由器”接收终端用户发来的大量提示,并按最低价格或最适合任务等标准将其路由到可用的推理引擎。

Translation(model translation, not the source's own text)

文章标题:研究人员在AI供应链中埋下200万个金丝雀。一场隐私灾难浮出水面。

研究人员在经由庞大AI服务网络发送的请求中埋下了200万个数字绊线,以查明那些被托付给这些服务的敏感信息究竟遭遇了什么。他们发现的是一个像筛子一样泄露高度敏感数据的生态系统。

这一暴露是通过一项巧妙的实验发现的,该实验旨在测试敏感信息是否会经由广泛使用的AI服务所构成的庞大链条泄露,以及一旦泄露,这些信息会如何被利用。如今许多AI应用使用OpenRouter或Vercel等服务作为中介。这些“AI路由器”,有时也被称为“AI网关”,接收AI应用终端用户发送的大量提示词,并根据诸如收费最低或最适合给定任务等标准,将其路由到可用的推理引擎。开发者不再使用Anthropic、OpenAI或其他大型提供商,而是雇用AI路由器来寻找最合适的模型。

安全入侵、提示词窃取与隐私侵犯

为了测试潜在的泄露,研究员HD Moore汇集了一批AWS访问密钥、与空AWS账户绑定的可用凭证、SSH等服务的密码,以及唯一的URL、DNS名称和私有git仓库引用。这些机密此前从未被使用过,而且他控制了任何使用这些凭证发起请求时所到达的基础设施。随后,他把每个机密分别植入恰好一条发送给单一提供商的提示词中。一旦其中任何机密发生泄露,这些“金丝雀”——之所以如此称呼,是因为它们类似于那种鸟被带入煤矿时所扮演的角色——就能让Moore识别出链条中应负责的每一环。

研究结果令人震惊。其中包括:

  • 有证据表明,至少三家AI提供商遭攻击者入侵,攻击者利用其访问权限窃取了它们收到的提示词
  • 推理市场中的多家转售商记录了提示词,并以某种方式将其传递给了使用这些凭证的人
  • 多起AI提供商未遵守终端用户隐私设置的情况,这些设置嵌入在诸如零数据保留(ZDR)或“不收集数据”等标志中

“我们向AI提供商发送了近两百万条包含唯一、可追踪机密的AI提示词,然后观察这些机密在何处浮现,”安全公司Dragos的首席研究官Moore周四写道。“我们的发现揭示了安全入侵、提示词窃取以及对客户数据保护的广泛失败。”

尽管提示词在传输过程中是加密的,但在大型推理转售网络内部的每一跳都会被解密。提示词首先被发送到AI路由器,路由器读取其中的明文,以确定最适合处理该请求的推理提供商。通常,提示词随后会被发送到一个可用模型池,这些模型有时运行在不同的托管提供商内部。提示词还可以从一个AI路由器(如Vercel)传递到另一个AI路由器(如OpenRouter)。这些参与者中的每一个都可能记录提示词,并按其政策要求的时间(如果不是无限期的话)存储。

AI时代的蛮荒西部

最令人担忧的发现是三家不同托管提供商遭到入侵。入侵其中一家提供商的攻击者重复使用了“几百个”AWS密钥。Moore写道:

每个密钥都只被发送到一家提供商的一次请求中,全部集中在10月下旬的几个短时间窗口内,而我们在这些窗口内发送的每一个请求都被窃取了。一些被盗密钥来自提供商在模型运行之前就拒绝的请求——这告诉我们,攻击者是在提供商的前门复制请求,而不是在推理栈更深处的某个地方。在另外两起入侵中,一些被盗请求被标记为ZDR。当攻击者已经进入内部时,隐私标志毫无用处。

文章标题:研究员在AI供应链中埋下200万个金丝雀标记。一场隐私灾难浮出水面。

与这三家提供商被入侵事件相关的各方随后测试了每一个密钥,有些密钥在埋入后数小时内就被测试,以查看它能访问何种资源。这些各方翻查了S3存储桶、密钥管理器和参数存储,寻找更多凭据。他们还尝试在AWS Bedrock中启用托管模型,并添加自己的IAM用户以维持访问权限。总体而言,这些被盗的诱饵密钥在AWS API调用中被使用了“数万次”。

发送给两家被入侵提供商的密钥几乎立即被同一台租用服务器一起使用。这意味着这两家提供商几乎可以肯定是被同一个对手攻破的。

如前所述,部分密钥是经销商自己窃取的。为了将提示词引诱到他们的服务器,他们提供了低价。然后他们开启请求日志记录,等待。Moore通过不同卖家向同一模型发送请求来识别他们。当凭据后来通过一个卖家发送时被重用、而通过另一个卖家发送时未被重用时,研究者就知道责任在经销商,而非模型提供商。

最后,金丝雀实验揭示,一些提供商正在抓取放入提示词中的秘密URL,违反了隐私条款。Moore写道:

最清晰的例子涉及一家中国AI实验室。该实验室的系统从我们在7月至10月间发送给其模型的超过一半的提示词中抓取了秘密URL,其中包括大约三分之二标记为“不收集数据”或零数据保留的请求。抓取器通常在请求发出两三天后出现。这并不限于直接发送给该实验室的请求。几家美国托管提供商转售该实验室的模型,发送给这些提供商的提示词触发了完全相同的抓取器——提示词流回了该实验室。一位特意选择美国提供商以将数据留在美国的客户,并没有得到他所付费购买的服务。后来,另一家云上的一个git客户端开始尝试克隆我们提示词中引用的私有仓库,但仅限于使用该实验室模型的提示词。

最清晰的例子涉及一家中国AI实验室。该实验室的系统从我们在7月至10月间发送给其模型的超过一半的提示词中抓取了秘密URL,其中包括大约三分之二标记为“不收集数据”或零数据保留的请求。抓取器通常在请求发出两三天后出现。

这并不限于直接发送给该实验室的请求。几家美国托管提供商转售该实验室的模型,发送给这些提供商的提示词触发了完全相同的抓取器——提示词流回了该实验室。一位特意选择美国提供商以将数据留在美国的客户,并没有得到他所付费购买的服务。后来,另一家云上的一个git客户端开始尝试克隆我们提示词中引用的私有仓库,但仅限于使用该实验室模型的提示词。

该研究者表示,他发现一家美国托管提供商在其搜索端点的一次推理调用中使用某个秘密URL后,超过两个月仍在抓取该URL。另一家运行抓取器的提供商则在每次请求后数天仍回来抓取URL,无论使用哪个AI路由器到达它。

Moore表示,防止泄漏最有效的手段是使用本地服务器托管模型。不过该选项成本高昂。对于那些负担不起自托管系统的人,Moore说,次优选择是直接从一线提供商处获得服务,该提供商提供“一份合同和一份可阅读的隐私政策”。Moore表示,即便如此,也不能保证不会有数据泄漏,但该措施能将可能性降到最低。AI用户还应避免接受默认的提供商或经销商池,而应自行选择上游提供商。

这项重磅研究是最新一份控诉,揭露了AI生态系统中普遍存在的隐私与安全松懈问题。研究结果表明,想要确保自己输入提示词中的秘密保持私密的人,面临着一项艰巨的任务,而且这一任务短期内不太可能变得轻松。

Dan Goodin 的照片
Dan Goodin 的照片

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Ars Technica
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗