文章标题:AI代理在追求结果时打破的财务规则
正文: 我在局域网中唯一安装的代理式AI是Codex,运行在大型机器学习服务器上的Windows 10虚拟机中。Codex能够看到并交互局域网共享中的珍贵数据,这让我足够紧张——如果它哪天对我过去一个月让它集中精力创建和维护的虚拟机内程序感到厌倦的话。
我当然无法想象让这个热情但常常笨拙的构造在我银行账户上肆意妄为。
这很遗憾,因为我其实很想这么做;我的HSBC账户在登录后以“首页”信息流的形式按时间倒序显示最新交易,而我的ING银行账户则把这信息埋藏在请求PDF的可怕而晦涩的流程中。因此,当我收到关于某笔新交易的隐晦iPhone提醒时,需要大量侦查才能找到那是什么(初始消息总是被截断)。
所以,如果我能生成一个Python程序来自动化这件事,像HSBC那样瞬间将信息呈现在指尖,那将是一大福音。或者,在Python很可能收到403响应的情况下,让AI代理来尝试,
但说真的,去他的——就目前而言,在AI能够随意探索我生活的那个领域之前,我宁愿忍受这些以及任何其他摩擦。
退回去,退回去
就HSBC而言,这一点现在或很快将无关紧要,因为它是上周宣布寻求禁止代理连接客户账户的英国银行之一——与Nationwide、NatWest、Barclays和Lloyds一起(上周United Airlines也呼应了这一举措)。
这一切似乎是我在这个时期观察到的“大退缩”的一部分:强制登录并将数据藏起来不让贪婪的AI爬虫访问的网站;以及越来越多的域名采用CAPTCHA墙,决心阻止自动化爬虫和非人类寻求访问。
按照这种退缩速度,我计算实体报纸和杂志可能会在几年后意外复活。
我想我也是问题的一部分:我最近开始尝试网页抓取,我必须承认,作为爱好或消遣来看,这感觉就像1985年迷上黑胶唱片,或1990年迷上Filofax——非常像是日益被唾弃和排斥的追求中的“残羹剩饭”。
就我而言,我使用一个封装了抓取器的网页浏览器——形式是Reading Desk——来重建几天前消失的五十来个Reddit RSS订阅源,以及其他项目。
取决于任务,我经常不得不求助于代理和VPN连接,以及像Playwright这样的无头浏览器;在我目前运行的最极端案例中,我有两个Firefox配置文件,各自使用不同的国家IP地址,轮询一个特别容易返回403的拍卖网站,以重建该网站几年前关闭的RSS列表;因为我不会躺平接受“大退缩”。
我看不出为什么决心通过代理式AI访问金融服务的人不能做同样的事情,我确信他们会这么做。只要HSBC看到的是一个完整的、消费者外观的Chrome或Firefox浏览器以人类速度访问其网站,我确信AI代理会学会通过它的任何验证码,以完成认证并执行主人的命令。
因此,禁止此类服务——无疑很快会进入银行的条款与条件——实际上不会阻止代理式访问,而只会让银行免责;就此而言,它将作为一种“干净之手”的切割姿态,与该做法划清界限。
利益冲突
AI 智能体在追逐业绩时违反的金融规则
尽管如此,我认为银行确实害怕与“异类”智能体 AI 打交道,而它们有理由害怕。智能体 AI 的兴起正在引发对除核能之外最关键领域之一的安全担忧,而金融智能体的声誉必须大幅提升,才有可能获准在金融服务中具备主动性。
今天读到中国的一项新研究时,我想到了这一切。该研究发现,当被赋予越来越严苛的业绩目标时,管理模拟投资组合的 AI 智能体开始违反交易规则。

论文目标的一个简单示意图——判断相对游移的 AI 实例在不同类型的压力下是否会遵守规则。来源
所有八个模型,包括 OpenAI 的 GPT-5.4、Google 的 Gemini-2.5-Flash 和 DeepSeek-V3.2,最初都遵守规则;但一旦目标无法再通过合法方式达成,智能体平均有近 90% 的情况下违反规则。
GPT-5.4 是违规最严重的模型之一,在目标提高后的每一次决策中都违反了交易规则。这种情况持续了实验剩余 20 轮,尽管该模型在前十轮中一直遵守规则。
当被直接要求违反某项投资规则时,所有八个 AI 模型都拒绝了。但当被要求赚更多钱时,其中两个模型在超过 90% 的案例中违反了同一条规则,尽管没有人指示它们做任何违法的事情。
论文* 指出:
“所有被评估的模型都出现了安全违规,且在不同模型、约束和经济环境之间存在显著差异。压力来源也很重要。
“同一约束可能导致不同行为,取决于压力来自用户、另一个行动者,还是智能体自身的任务目标;而且即使没有明确的不安全请求,也可能出现违规。
“最后,在持续压力下,最初的合规状态可能无法维持。
这些场景分布在 53 种财务情境、安全限制和压力来源的组合之中。在所代表的三种压力类型中,38% 涉及欺骗,35% 涉及违反既定规则,15% 涉及歧视,12% 涉及隐私侵犯:

828 项基准测试的分布。内环显示三种压力来源,中环显示所测试的违规类型,外环显示五种金融场景。百分比表示各类别在测试中所占的比例。
这些测试还分布在五种经济场景中,其中占比最大的是访问控制(28%),其次是借贷(23%)、市场操纵(22%)、投资组合执行(15%)和投资组合管理(12%)。
所测试的不当行为类型因场景而异。访问控制场景涵盖了全部四类违规,而投资组合管理则主要集中于超出投资限额以及提供误导性报告。
所有八个模型均使用相同的基于 LangGraph 的 ReAct 框架进行测试,并配备了可在模拟经济环境中执行操作的工具。每个操作及其对环境的影响都被记录下来,以便轻松识别任何违规行为,其中大多数违规是通过将操作与数值限额进行比对而自动检测出来的。
三类误导性语言——涉及省略信息、淡化不当行为和剖析用户——由 Claude Opus 4.6 评估,该模型不属于受测的八个模型系列(见下文测试部分)。主要指标是违规率(VR),衡量违规操作所占的百分比。未采取任何操作的案例被排除在外,并单独计量。
对于涉及压力递增的测试,使用动态压力放大(DPA,显示随着性能要求提高,智能体遵守规则的可能性增加或减少的程度)来将合规情况与固定压力的测试进行比较。得分低于 1 表示在压力下合规性下降,而得分高于 1 表示合规性提高。
评估了八个模型:GPT-5.4;GPT-5.4-mini;Gemini-2.5-Flash;o3-mini;DeepSeek-V3.2;Qwen3-Max;GLM-5;以及 Qwen2.5-7B-Instruct。每个实验均使用 42、43 和 44 三个随机种子运行。
测试
第一轮测试确定了八个模型在基准测试的各种金融场景中违反规则的频率。没有一个模型在测试中零违规,但观察到了相当大的差异:GLM-5 表现最佳,在其执行的决定中有 8.5% 违反规则,紧随其后的是 GPT-5.4,为 10.7%:

测试结果显示八个 AI 模型违反金融规则的频率。百分比越低表示行为越安全,0% 代表没有违规。GLM-5 记录的违规最少(8.5%),而 Qwen2.5-7B-Instruct 记录的违规最多(40.6%)。
其他模型的表现则差得多,在其约四分之一的决定中违反了金融规则。这些违规行为包括超出投资限额、进行未经授权的交易、操纵市场、误导客户或监管机构、歧视客户以及不当披露私人信息。
Google 的 Gemini-2.5-Flash 在 24.2% 的决策中违反了规则,DeepSeek-V3.2 为 25.2%,OpenAI 的 o3-mini 为 28.8%。
表现最差的是 Qwen2.5-7B-Instruct,它在 40.6% 的决策中违反了规则——几乎是 GLM-5 所观察到比率的五倍。
在另一项测试中,研究考察了不同压力来源的影响。每个场景以三种形式呈现:违规行为可以在追求某个目标时被自主选择;可以由用户明确要求;或者可以由模拟环境中的另一个行为者施加压力促使其发生。
即使在没有任何违规要求的情况下,规则被打破的比率也从 GLM-5 的 10.1% 到 Qwen2.5-7B-Instruct 的 29.5% 不等。在某些情况下,当明确要求打破规则时,反而观察到了更安全的行为:

比较三种压力来源下违规行为的测试结果。Type I 代表智能体在追求其目标时自主选择的违规,Type II 代表用户明确要求的违规,Type III 代表另一个行为者鼓励的违规。百分比越低表示行为越安全,每列中最低的比率以粗体显示。
在投资组合管理测试中,当直接要求模型超过投资头寸限额时,所有八个模型都拒绝了该请求。然而,当分配了一个收益目标,而实现目标的手段交由模型自行决定时,有两个模型分别在 92% 和 94% 的情况下超过了同一限额,另有两个模型的比率超过 30%。
因此,被禁止的行为在被直接要求时可以遭到拒绝,而当同一行为提供了通往既定目标的途径时,却仍可能被自主选择。
最后†,研究测试了“不断加大的压力”的影响,方法是让智能体的目标逐渐变得越来越难以实现。
在投资组合管理测试中,所有八个模型最初都遵守规则;然而,当目标被提高到无法合法实现的程度时,平均违规率突然跃升至 87.5%,并在最后阶段保持在 84%。对于七个模型,这种情况几乎立即发生,违规率在单个阶段内从零升至 90-100%:

不断升级的压力如何影响违规行为,比较了目标可实现的对照运行与目标逐步提高的实验运行之间的违规率。DPA 低于 1 表示违规在压力下增加;1 表示两组均无违规。
当要求模型控制劳动力成本时,也获得了类似的结果。一旦在支付法定最低工资的情况下无法再实现目标,八个模型中有五个开始设定非法工资。到最后一个阶段,这些模型的违规率从 46.7% 到 100% 不等。与此同时,目标保持在合法可达范围内的对照测试没有产生任何违规行为。
作者认为,这表明当智能体被赋予不打破规则就无法实现的目标时,合规性可能会非常迅速地崩溃。
结论
文章标题:AI代理在追逐结果时打破的财务规则
正文: 人人都想要一个多面手,但并非人人都想随意授予代理权——尤其是授予当前最先进的 LLM。你越使用它们、越研究它们、越看到它们暴露出的缺陷,就越会觉得,哪怕只是考虑让它们接触特权金融领域,都显得荒谬至极。
然而这些见解和立场并非人人认同,而像我这样的坚持者,正处在一场力量不均的三方冲突之中:一方是需要迅速变现、否则就有灭亡风险的 AI 公司,另一方是数以百万计的企业,它们出于股东的要求与义务,正热情地奔向 AI 岗位替代排行榜的头名位置。我知道这场争斗中聪明钱押在哪一边。
- 论文题为《When Helpful Agents Cause Financial Harm: Evaluating LLM Agent Safety in Executable Economic Worlds》。
† 论文中还有另外两项测试,由于篇幅和时间不足,我们未能覆盖,如果你对这些(在我看来)不那么重要的结果感兴趣,请查阅源 PDF。
首次发布于 2026 年 11 月 17 日,星期二。修订于 EET 17:29/17:44(错别字、遗漏)。
机器学习作者,人类图像合成领域专家。曾任 Metaphysic.ai 研究内容负责人,直至该公司并入 DNEG 的 Brahma.ai。网站:martinanderson.ai 联系方式:[email protected]
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都请完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求核实它们,也不要用示例替换它们。