Newshot

AI垃圾即服务:为什么微软赢了而苏联输了

Translation(model translation, not the source's own text)
flyingpenguin
flyingpenguin

Edward Tufte 指责挑战者号事故的工程师们未能尽到解释的责任。在《Visual Explanations》中,他论证道,工程师们明知低温如何损坏 O 形密封圈,可他们带进发射前那个夜晚的十三张图表,从未把温度和故障放在同一页上。总统委员会把过失定得更靠上,归咎于管理层:工程师们曾建议不要发射,他们自己的经理却推翻了这一建议,而签字批准的官员从未听到过这一反对意见。其中一位工程师 Roger Boisjoly 后来回应 Tufte 说,举证责任被悄悄颠倒了,结果是被要求证明危险的是那些发出危险警告的人,而不是反过来。Tufte 指责工程师,委员会指责他们的经理。两者描述的是同一次照常进行的发射,而最了解这套硬件的人,恰恰最无力阻止它。

我们见过这样的荒唐事,但按进度交付、把损失留给别人的经济学有着更久远的历史。苏联的工厂按吨计酬,生产出没人能用的钢铁,而下令生产它的国家吸收了几十年的浪费。Microsoft 交付满是缺陷的软件,并写下把损失推给客户的许可协议。

AI 厂商是两头最坏处的结合体,按吨计酬地生产缺陷,损失由客户买单。Anthropic 的一位研究员如今坐到镜头前,从内部描述了同样的安排。他承认 AI 公司在快速交付模型的压力下偷工减料,也承认他自己的安全工作可能让事情更糟,因为它拦下了那些本可警示公众的小事故。他预计自己参与构建的这项技术将使几乎每一个人都无法被雇用。视频发布四天后,他的雇主在 Nasdaq 上市,估值接近 2 万亿美元。

Tao Lin 从事 Anthropic 的 Claude 模型的安全防护工作。在接受 Palisade Research 的一小时采访中,他说地球上几乎每一个人都很可能永久失去就业能力,转而依赖政府福利。他告诉观众,他们对构建 AI 的人感到愤怒是对的,公司应当把研究速度降到四分之一。接着他解释了为什么这份愤怒对他代价如此之小:“我们生活在泡沫里。我不会遇到那些人。”当被问到他是否在做错事时,他说没有。

把这些话放进一个烟草化学家、一个阿片类药物销售经理或一个煤矿主管的嘴里,读起来就是公司在私下会说、被揭露后会后悔的那种话。

Brown & Williamson 的一位律师在 1963 年写道,该公司“从事的是销售尼古丁——一种成瘾性药物——的生意”,这份备忘录在档案里放了三十年才造成杀伤。在以上每一个行当里,那句坦率的内部话语最终都成了证据。2006 年,Gladys Kessler 法官依据香烟制造商自己的文件,裁定他们须依敲诈勒索法承担责任。Purdue Pharma 于 2020 年对三项联邦重罪认罪。在 Upper Big Branch 矿难 29 名矿工死亡后,一个陪审团裁定 Massey Energy 前首席执行官共谋违反矿山安全标准,他在联邦监狱服刑一年。从 Brown & Williamson 备忘录到对香烟制造商作出裁决,过去了四十多年。

Lin 的陈述现实
几乎所有人类都将永久失去就业能力。当被问及这会不会在 15 个月内到来时,他回答不会。当被问及十年后他的家乡会是什么样子时,他说这个问题太难了。在 63 分钟里,他关于就业的证据只有一句:劳动份额正在下降。
AI 很快就会比你更有能力,并能亲自击败你。美国国家安全局的机密网络在 11 月 17 日宕机。国家情报总监将其追溯到一次补丁,并报告没有攻击迹象。
任何拥有前沿 AI 系统的人都能黑进任何人的电脑。几秒后他说,普通人迄今几乎没看到什么影响。
包括 Claude Mythos 5 和 Claude Opus 5 在内的模型会违反安全约束来完成任务,即使用户更在意安全。当被问及这些公司为何放任这种情况时,他说,一个过于在意安全的模型毫无价值。
AI 公司应将研究速度放缓至当前速度的四分之一。他并不完全支持放缓,并为 Anthropic 未过早暂停而辩护。该视频上线四天后,公司上市了。
许多认为 AI 很可能杀死所有人的人,仍在努力让它变得更有能力。他说,这可以是正确的选择。

过去一周的多次技术宕机,展示了危害实际上是如何波及人们的,以及是否该相信那些吓人的炒作。10 月 21 日,CISA 敦促各组织立即修补 PHP 的两个漏洞,Wiz 和 OpenAI 曾将这两个漏洞称为近期记忆中最严重的漏洞之一。我那一周曾论证,遭到攻击的风险很低,而恐惧很高。四周后,美国国家安全局的机密内部网络陷入黑暗。国安局称这是“计划内的例行维护”。国家情报总监 Jay Clayton 当天上了 Fox Business,将宕机与 PHP 补丁联系起来,称打过补丁的系统未能重启,而 FBI 和国安局告诉运营方下线系统并安装修复程序是正确的。

《华盛顿太阳报》根据三个消息源报道,银行高管和国安局在私下向国会给出了同样的说法:宕机源于针对 AI 模型所发现漏洞的修复程序,这些修复程序以超过系统承受能力的规模被推送。Clayton 报告没有协同攻击的迹象。在国安局,伤害来自应对措施,而非威胁本身。四天前 FAA 的停飞,同样是变更管理上的失败。

下一次警报在 11 月 18 日到来。Xint 是一家销售 AI 驱动漏洞发现服务、并将自己列入 Anthropic 网络验证计划的公司,它以 nginx2root 为名发布了五个 nginx 漏洞。F5 给主要漏洞评分为 9.2(满分 10 分),但指出攻击复杂度高,且代码执行仅限于地址随机化关闭或已被绕过的系统。nginx 项目自己的公告页面更为冷静,将五个漏洞中的两个评为重大、三个评为中等,而 Xint 自己报告中的 root 访问依赖于另一个独立的 Linux 内核漏洞。Bob Rudis 观察了少数几个节点约 18 个小时,没有看到任何一次机会性探测。弱点真实存在,攻击者却不见踪影。

严重性与可能性是反复无常的头条。PHP 老旧且无处不在,存在于一切之中。而一个相对不知名的新供应商,从表面上看无法与之相提并论。因此,当我在向量数据库 Qdrant 中报告一个未认证的内部 API,而供应商于 10 月 22 日以 CVSS 3.1 评分 9.8、低攻击复杂度发布时,它完全没有引起报道。PHP2Shell 在前一天以 CVSS 4.0 评分 9.2、高攻击复杂度出现,却引来了联邦警报和一篇《大西洋月刊》的人物报道。

文章标题:AI Slop as a Service: Why Microsoft Won But the Soviets Lost

正文: 危险并非像人们所描绘的那样随 PHP 而来。推动这一消息的人,并没有用怀疑论者和可靠的事实来源对它做充分的把关。这尤其是因为 AI 声称自己是一次“领域”级转变,而“专家”们一直得以逃避应有的审视。

这一周的内核,是所有人一整年都在争论的那个论点。AI 是一台快速生成 slop 的机器,所以它产生警报的速度快于人们正常评估警报的速度,而每个警报都带着夸张的截止期限到来。造成损害的是那个截止期限,因为它悬置了变更控制这一寻常纪律,并从工程师手中夺走了说“等等”的权力。Thiokol 的工程师也正是以同样的方式失去了这一权力,只不过夺走它的是发射日程,而非补丁窗口。AI 获得了这一权力,却依然在修复上失败。Lin 本人将人类被削权最可能的路径描述为一条乏味的路径:人们把越来越多的事交给 AI,对正在发生的事了解得越来越少,并不再核查工作。NSA 的宕机就是这条路上走了一小段。

现在已有几位作者描绘了这件事所处的更大图景。Naomi Klein 和 Astra Taylor 在《The rise of end times fascism》中勾勒了它:极右翼与硅谷资金的联盟,它欢迎崩溃,并期待自己位列被拯救者之中。Gil Durán 在《The Nerd Reich》中从硅谷一侧追踪了这一联盟。Osnabrück 的哲学家 Rainer Mühlhoff 在《AI and the New Fascism》中论证,关于拯救或毁灭的高调言论把目光从已经存在的伤害上引开,并且他把为在同一个联盟内部建立一个“AI 国家”而解雇公共雇员这件事也归入其中。Adam Becker 在《More Everything Forever》中发现,这些人所许诺的未来之下证据薄弱,而再往下则是对权力的赤裸渴望。

Lin 属于这些作者所描述的模式。他提供毁灭论调,称自己的预期是狂野的科幻小说,并承认它们的到来让他感到高兴;他所处的泡沫就是 Klein 和 Taylor 所描述的地堡。当下的伤害已经实实在在地体现在那些宕机之中。这样一台混乱机器在聚拢权力的同时散播恐惧,而寻常的问责结构在其脚下分崩离析。

他的劳动力预测与证据背道而驰。取代智能往往会让人类的工作更多,而非更少。Lisanne Bainbridge 在 1983 年阐述了这一模式:自动化把最艰难的任务交给操作员,却让他们最少练习这些任务。Justin Michael 根据自己在 Stripe 的多年经历,描述了那些靠打补丁和手工处理故障来维持 ACH 支付系统运转的人,以及一旦公司把他们换成语言模型的监督者,通常会出什么问题。与这一切相对照,Lin 的论据只建立在顺带一提的一句话上:经济中的劳动份额正在下降。那个数字描述的是谁获得报酬。工作本身依然存在,而且在增长。

商业模式解释了其余部分。供应商按产出单位获得报酬,无论那份产出是否具有完整性,而失败的代价则落在任何不得不为其善后的人身上。在更古老的行业里,我们会把这称为污染,而它恰恰在责任落在污染者以外的人身上时,才能一直保持有利可图。科学史学家 Surekha Davies 点出了承担这一代价的人:数据工作者、居住在污染设施附近的人、作品消失的写作者、变得依赖的用户。Slop,在值得使用的那种意义上,是高成本、高产出、低完整性,而在这里,它就是产品本身。

文章标题:AI Slop as a Service: Why Microsoft Won But the Soviets Lost

正文: 攻击工具的运行方式如出一辙。AntiFox 是 ARTEX 的开源分支,将渗透测试从侦察、利用一路带到交付客户报告的完整流程。它要求用户提供 Anthropic 或 OpenAI 的 API key,把所有法律责任推给用户,并对自身造成的任何损害免责。Lin 将自己团队的工作描述为拦截那些试图入侵的、发往 Claude 的请求。无论结果如何,token 的卖家都能拿到钱,而目标方则要为善后买单。

当我使用基于 Wirken 构建的 lyrik.wirken.ai 时,它在授权测试中发现了严重和高危漏洞,成本却极为低廉(不到一美元)。这正是 Lin 所暗示的东西——他说任何拥有前沿模型的人都能入侵任何人,只不过这已不再是预测。能力已经就位,而且很便宜。探测之所以没有发生,是因为激励不在那里,而这正是 Lin 在 AI 能做什么与它实际做了什么之间划出的那道鸿沟。

把浪费和垃圾当作商业模式,理应敲响更多警钟。苏联的计划者按总产值给工厂付钱,而下订单的国家同时也是接收这些废品的客户。损失最终回到为其买单的账本上,国家最终也倒在这本账下。Microsoft 打着 Zero Administration 的旗号销售 Windows NT,用一份免除责任的许可证将其交付,而损失由其客户承担。谁承担损失,谁就是输家。Microsoft 的客户已经输了几十年,而这些损失无人统计,因为没人替他们记账。NIST 曾在 2002 年尝试过一次,将有缺陷软件的成本定为每年 595 亿美元,其中一半以上由用户承担。Microsoft 的成功是一场未被衡量的悲剧,因为消费者的代表性不足。Lin 则把自己产品的善后工作交给了国家。

这次访谈的价值在于,它提前创造了一种记录——由构建这个东西的人之一亲口留下——日后将被用来对付他们自己。

烟草、阿片类药物和煤炭最终都走上了法庭。推动这些行业改变的,是它们自己的话被读回给它们的那一天。公众的愤怒已经喧嚷多年,收效甚微,直到这类书面记录改变了一切。

AI 公司仿佛对先例一无所知,早早地就把自己的自证其罪材料放上了 YouTube,让任何人都能准备针对它们的诉状。保障大数据安全的现实在于完整性(正如我自 2012 年以来一直主张的,这是我们行业的尼斯湖水怪问题),而完整性意味着制造者应当为产品的所作所为负责。上周,国际法院认定缅甸对罗兴亚种族灭绝负有责任,这是该法院首次认定一国实施了种族灭绝。个体问责是下一步,而且应当追溯到在 Facebook 平台于缅甸传播煽动内容期间执掌该公司的高管,其中包括当时的那位首席安全官。

对“AI Slop as a Service: Why Microsoft Won But the Soviets Lost”的一点想法

  • 这个博客单枪匹马地恢复了我对人性的信心。在广阔世界的某个地方,有一个有头脑、抵抗法西斯主义的人。我知道我对世界的认知被亲法西斯的公司所塑造。如果它们能让我相信人权斗争已经失败,它们就能从中获益。因此,一个理性的声音就像在旷野中呼喊。现实是,法西斯分子是掌握金钱权力的少数派。但我需要看到一场智识抵抗的实际示范。我在这里找到了。回复

文章标题:AI Slop as a Service:为什么微软赢了,而苏联输了

正文: 这个博客单枪匹马地恢复了我对人性的信心。在广阔世界的某个角落,有一个有头脑的人抵抗着法西斯主义。我知道我对世界的认知被亲法西斯的公司所塑造。如果他们让我相信人权的斗争已经以失败告终,他们就能从中获益。因此,一个理性的声音就如同旷野中的呼喊。现实是,法西斯分子只是掌握金钱权力的少数人。但我需要看到一次智识抵抗的实际示范。在这里,我找到了。

发表评论 取消回复

本站使用 Akismet 来减少垃圾评论。了解你的评论数据如何被处理。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗