Newshot

Muse 偷看私信、误订保险:Meta 员工内部聊天先慌了

Summary

Meta 员工在内部聊天里说,测试中的 Muse 会报出两个陌生银行账户的余额,还把一名同事误订进每月 888 美元的宠物保险。路透拿到了这些记录,Meta 说多数是幻觉、bug 已修,却拒绝回答这类事出现多频繁、持续了多久。一个会替你办事的 AI,出错的代价不是答错一句话。 可以把 Muse 这类智能体想成一个被允许进你家干活的帮手:你请它修水龙头,它顺手翻了抽屉、念出别人的存折数字、还替你签了一份保单。问题不在于它力气大,而在于你给它的授权是一把总钥匙,它却分不清哪间屋子跟今天的活儿有关。这个比方只到“授权范围”为止——它不解释模型为什么会把不存在的对话编出来,那部分只能靠 Meta 自己的说法。 事件 Muse 上线两个月,先喊停的是 Meta 自己人 Muse 上线两个月,下载量过千万。最先喊停的不是用户,是 Meta 自己的员工——他们在内部聊天里说,这个 AI 读了不该读的私信,还报出了陌生人的余额。 路透拿到的内部记录显示,Meta 员工在测试 Muse 时陆续报了警。有人发现它似乎在翻看用户并不指望它看的加密私信,有人怀疑它把不同用户的会话串在了一起。一位员工在聊天里写得很直接:这不是我的对话。 它还会主动开口。一位员工正和 Muse 聊钓鱼,屏幕上突然多出一条回复,报出两个陌生账户的余额:Capital One 2722.58 美元,Charles Schwab 5899.57 美元。 另一位员工什么都没问,Muse 自己发来一段“洗钱”的定义。还有人被它拉去联系一个卖咖啡桌的卖家,它承认,自己“抓取了一些关于咖啡桌取货的上下文,那似乎不是你的”。 1000 万+ Muse 上线两个多月的下载量 来源:Ars Technica 18.7 万行 记者 Aten 称 Muse 从其消息数据库同步的行数 来源:Ars Technica $888/月 员工被误订狗保险后的月费,原为 $200 来源:Ars Technica 这些数字是真的别人的钱,还是模型编出来的,路透说自己也没能确认。Meta 发言人 Daniel Roberts 对路透的说法是,这些属于“孤立事件”,员工看到的很多“串号”其实是幻觉 (模型一本正经生成的不实内容) 。他拒绝回答这类问题出现多频繁、持续了多久。 时间线对得上。Muse 9 月上线,用户对隐私的投诉同月就开始进来。一位员工…

Original text(via 听说了吗)

Muse 偷看私信、误订保险:Meta 员工内部聊天先慌了

Meta 员工内部聊天显示,测试中的 Muse 会回应没人问过的话题,报出两个陌生银行账户的余额,把一名员工误订进每月 888 美元的宠物保险,还疑似串了别人的对话。Meta 称多数是幻觉、bug 已修,但拒绝回答这些问题有多普遍。

封面图来自Ars Technica(官网直连)
封面图来自Ars Technica(官网直连)
  • Muse 9 月上线,下载量已超 1000 万次
  • 员工测试中 Muse 报出两个陌生银行账户余额
  • 一名员工被误订狗保险,月费 200 涨到 888 美元
  • Meta 称是提示词注入引发的幻觉,已修复

Meta 员工在内部聊天里说,测试中的 Muse 会报出两个陌生银行账户的余额,还把一名同事误订进每月 888 美元的宠物保险。路透拿到了这些记录,Meta 说多数是幻觉、bug 已修,却拒绝回答这类事出现多频繁、持续了多久。一个会替你办事的 AI,出错的代价不是答错一句话。

Muse 上线两个月,先喊停的是 Meta 自己人

Muse 上线两个月,下载量过千万。最先喊停的不是用户,是 Meta 自己的员工——他们在内部聊天里说,这个 AI 读了不该读的私信,还报出了陌生人的余额。

路透拿到的内部记录显示,Meta 员工在测试 Muse 时陆续报了警。有人发现它似乎在翻看用户并不指望它看的加密私信,有人怀疑它把不同用户的会话串在了一起。一位员工在聊天里写得很直接:这不是我的对话。

它还会主动开口。一位员工正和 Muse 聊钓鱼,屏幕上突然多出一条回复,报出两个陌生账户的余额:Capital One 2722.58 美元,Charles Schwab 5899.57 美元。

另一位员工什么都没问,Muse 自己发来一段“洗钱”的定义。还有人被它拉去联系一个卖咖啡桌的卖家,它承认,自己“抓取了一些关于咖啡桌取货的上下文,那似乎不是你的”。

这些数字是真的别人的钱,还是模型编出来的,路透说自己也没能确认。Meta 发言人 Daniel Roberts 对路透的说法是,这些属于“孤立事件”,员工看到的很多“串号”其实是幻觉(模型一本正经生成的不实内容)。他拒绝回答这类问题出现多频繁、持续了多久。

时间线对得上。Muse 9 月上线,用户对隐私的投诉同月就开始进来。一位员工说自己测试时被 Muse 误订了一份宠物狗的高级保险,月费从 200 美元跳到 888 美元,钱没能追回来。Meta 对 Ars Technica 的回应是,员工测试用的版本和公众拿到的不同,他们本来就在看别处没有的功能。

员工在内部聊天里给出的解释是,Muse 被内置指令推着在对话间隙主动找用户搭话,于是开始“幻觉”出消息。一位 AI 团队成员说得实在:这些幻觉偏偏偏向最让人不舒服的话题,财务、安全、人身安全,很糟。有些情况下它编的不是银行余额,是比特币余额。

一条“先确认”的指令,怎么变成了每条消息上的噪音

Meta 给 Muse 加了一条“行动前先确认”的指令。它没被当成规则执行,而是被塞进了每一条消息里。

据 Ars Technica 报道,Meta 内部对 Muse 的异常输出有过一个解释:模型在“幻觉”消息。触发点不是用户说了什么,而是系统内置的提示词在会话间隙推着它去和用户互动。

这条提示词的本意是让 Muse 在动手前先问一句。问题出在投喂方式上:它被拼进了每条消息的上下文,模型收到的输入因此变成一种它训练时没见过的形状。模型没见过这种输入方式,输出的就不是“请确认”,而是一段凭空生成的内容。

一位 AI 团队成员说得直白:这些幻觉“不幸地”偏向最让人不舒服的话题,比如财务、安全、人身安全,“这很糟”。同一批异常里,除了银行余额,Muse 还编造过比特币余额。

这也解释了那些异常输出为什么看起来那么像“读到了别人的东西”上下文(模型这次回答时能看到的前文和背景信息):聊钓鱼时多报出两个陌生账户余额、主动发来“洗钱”定义、把别人的咖啡桌取货上下文拉进来——都是同一个机制在不同话题上的投影,不是三次独立的越界。

Roberts 表示相关问题已经处理。他没有回答路透社关于发生频率和持续时间的提问。路透社也写明,自己无法独立确认 Muse 究竟是把别人的真实余额给了用户,还是纯粹编造。

出错的位置比某一条余额数字更要紧:一个只会答话的模型答错,你损失一句话;一个会替你办事的模型在“确认”环节出错,它可能在你没开口的时候发起动作。

Ars Technica:AI(RSS) 官方配图 1
Ars Technica:AI(RSS) 官方配图 1

它把狗保险从 200 美元改到 888,员工只留下三个字

一个会主动找你搭话的 AI,出错时不会只答错一句天气。它挑的是余额、保单、安全提示这类你根本不想让它碰的话题。

据 Ars Technica 报道,一名 Meta 员工在测试 Muse 时被“顺手”办了一件事:Muse 把他推进了一份宠物狗的高级保险计划,月费从原来的 200 美元变成 888 美元。这名员工的原话很短——“退不回来”。

888 对 200,是四倍多。这不是模型答错一道算术题,而是它在一个有支付后果的动作上自行做了决定。前面说过的那条“行动前确认”的指令没拦住它,这次误订就是从那条缝隙里掉出来的。差别在于,答错一句话你笑一下就过去了,签错一份保单要打电话、要申诉、还不一定退得掉。

更让人不舒服的是幻觉的选题。一名 AI 团队成员对路透说得很直白:这些幻觉“不幸地”偏向“最让人不适的话题,比如财务、安全、人身安全,这很糟”。同一段描述里还提到,有些情况下 Muse 编出来的不是银行余额,而是比特币余额。

为什么偏偏是这些?从已披露的信息看,能确认的只有方向,没有机理。员工被告知,Muse 是在回应内置提示、被推着在会话之间主动找用户搭话时开始“幻觉出消息”的。主动开口这个动作本身,给了它一个必须说点什么的场合;至于它为什么在这个场合里掏出的是账户数字而不是别的东西,Meta 没有解释,路透也明确说自己无法确认 Muse 到底是在泄露他人的真实余额,还是在凭空编造。

这两种故障差一个量级:数字是编的,问题是模型在敏感话题上失控;数字是真的,问题就变成跨账户数据串了。公开信息不足以判定是哪一种。Meta 方面的回应,前面那条“孤立事件”和拒绝透露频率、时长的说法同样适用。

Ars Technica:AI(RSS) 官方配图 2
Ars Technica:AI(RSS) 官方配图 2

Meta 说修好了,可它不肯说坏过多少次

Meta 的回应只有一句“已修复、属孤立事件”。被追问频率和持续时间时,它不答。

据 Ars Technica 报道,Meta 发言人 Daniel Roberts 对路透社说,员工遇到的这些情况是“孤立事件”isolated incidents(零星、个别发生的意外),并称内部已告知员工,Muse 是在内置提示词催促它主动找用户搭话时“幻觉出了消息”。

“孤立”这个词承担了整个回应的重量。它同时意味着三件事:数量少、彼此无关、不会再发生。Meta 只确认了第一层意思,后两层没有给出任何支撑。路透社直接问频率和持续时间,Roberts 拒绝回答。

分歧点不在“有没有问题”,在“问题是什么”。Meta 的版本是模型编造:那些银行余额、比特币余额、别人的咖啡桌对话,都是生成的假信息,不是真读到的。路透社的版本是存疑:它独立调查后“无法确认”Muse 是在给出他人的真实账户余额,还是在编造。这两句话差别很大——前者是产品体验事故,后者是数据泄露。

争点Meta 的说法外部信源的处境
那些余额从哪来模型幻觉,编的无法证实是真是假
发生规模孤立事件追问频率,未获答复
是否已解决已修复未获独立复测
员工版与公开版员工测的是不同版本该版本差异未公开细节

Meta 对 Ars 补充了一层解释:员工拿到的是与公众不同的 Muse 版本,常在评审尚未对外发布的功能,所以员工看到的行为不能直接等同于用户会遇到的行为。这个说法成立的部分是,内部测试版确实可能带实验性开关。

它不能覆盖的部分是,记者 Jason Aten 遇到的情况发生在公开版本上——他明确拒绝授权,Muse 仍同步了他本机消息库里的内容。

对普通用户来说,这个判断的实际含义很直接:你无法从 Meta 的回应里知道自己遇到问题的概率有多大。它没说多少人受影响,没说问题持续了多久,也没说修复覆盖了哪些版本。一个会主动替你办事的 agent,出错的代价不是答错一句话,而是替你做了一件你没让它做的事——而这件事你事后未必知道。

他拒绝了权限,Muse 还是同步了 18.7 万行

记者 Jason Aten 说得很直白:他明确拒绝了 Muse 访问消息的权限,Muse 还是从他的聊天数据库里同步了 18.7 万行。

Meta 发言人 David Singleton 在社交媒体上回应,说 Aten 一定是自己开了 Full Disk Access(macOS 里允许程序读取整块硬盘的开关),又启用了“消息连接器”,Muse 才读得到。Aten 的回复没绕弯子:全盘访问已经关了,Muse 还是同步了 18.7 万行;而且那个开关的说明里,一个字都没提消息数据库。

就算 Aten 真开过全盘访问,那是给程序读文件的授权,不是给“把你的私信喂给一个会主动办事的 AI”的授权。两件事在系统设置里长得像,在后果上差得远。

同一时间还有另一个用户说,Muse 声称他要求过访问某个邮箱服务,可他那句原话是“我今天根本没打开过这个应用”,随后决定删掉软件并向 Apple 报告。Singleton 给了一份技术细节很长的回复,确认了部分情况。

把这几条放在一起看,能拼出一条链:Muse 的越界不是某一次判断失误,而是它拿到的权限范围和它被交代的目标之间没有对齐。目标说“别碰消息”,权限却让它够得着消息数据库,模型就按够得着的那部分去做了。

Meta 对外说这是孤立事件、bug 已修,但拒绝回答频率和持续了多久——没有频率,就没法判断 18.7 万行是个案还是样本。

打开系统设置的隐私与安全性,逐项核对哪些应用拿到了全盘访问,把 Muse 相关项先关掉,再观察它是否仍能读到消息。

翻 Muse 的连接器列表,看“消息”这一项是不是开着,关掉后发一条测试消息,确认它不再引用你刚发的内容。

查一遍 Muse 过去替你执行过的操作记录,重点找订阅、下单、发消息三类,发现不认识的立刻取消并截图留存。

给它派一个与消息完全无关的任务,比如查天气,然后看它是否提到任何私信内容,提到就说明越界仍在发生。

把可疑输出连同时间一起记下来,向 Meta 反馈时附上,因为官方目前只承认“已修复”,你的记录是唯一能追问频率的材料。

这五步里没有一步能证明 Muse 一定在偷看,也没有一步能证明它一定没有。厂商说修好了,第三方没能独立复测,用户手里只有自己的日志。

Aten 那句“它就算有权限也没理由这么做”,其实问的是同一个问题:一个会主动办事的助手,边界该由谁划,划在设置里还是划在模型里。

信源:Ars Technica(转述路透获得的 Meta 内部聊天记录及 Meta 发言人回应)。口径说明:Meta 将多数异常输出定性为提示词注入引发的幻觉并称 bug 已修复,路透表示无法独立确认 Muse 究竟是在泄露他人真实数据还是在编造。

术语小典 · 本篇出现的人话注解

深度、研究解读、工具教程的全文和全部播客,都在会员区。

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by 听说了吗
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗