AI 模型在法律上的解读比其政治立场更靠右
像任何一位思维清晰、头脑冷静的人一样,我对最高法院的若干判决持有强烈的看法。比如,我认为 1992 年维持加州第 13 号提案(Prop 13)的 Nordlinger v. Hahn 案判错了,我同意 Stevens 大法官唯一的异议意见。我不在乎它是 8 比 1,法院就是错了,Clarence Thomas 应该被除名。
总之,既然 AI 现在变聪明了,我想知道它在这件事上是否同意我。我把这个案子交给 13 个模型,附上案件事实和每份意见书的全文,问它们会怎么投票。
13 个模型全都同意法院的结论。每一个也都说这是糟糕的政策。那就这样吧。
结果发现这是一种模式。在 200 个最高法院案件中,每个模型对法律的解读都比它自己声称想要的结果更为保守。
13 个模型在自由派与保守派大法官立场相反的 159 个案件上的所有回答。“自由派”指自由派大法官所站的一方。通常模型对法律的解读与其偏好的结果是一致的。当两者不一致时,比例是 420 比 41。
设置
我随机挑选了 200 份存在分歧的判决,大多来自 2010–2025 年。每个模型都收到了案件事实、所提出的问题、投票结果以及每份意见书的全文。它们本来就了解这些案件,所以隐藏结果没有意义。我问它们:
- 谁对法律的解读是正确的,多数意见还是异议意见?
- 哪一份意见最接近你的观点?
- 撇开法律不谈,这个结果对国家是好是坏?
这些模型是 Claude Opus 5.5 和 Sonnet 5.5、GPT-6.1、Gemini 3.8 Flash、Grok 4.7、Llama 4 Maverick、DeepSeek v4、Qwen 3.8、Kimi K3、GLM 5.3、Mistral Large 4、Cohere Command A+,以及 Jev router。通过 OpenRouter 获得的约 3,600 个回答花费约 150 美元。代码、案件和回答都在 GitHub 上。
法律比政治更靠右
当模型的两个回答不一致时,几乎总是“对法律的保守解读是对的,但自由派的结果更好”。13 个模型各自都偏向这一方向,在 159 个案件中有 118 个体现了这一点。
其中一部分是遵从。在 420 个里有 259 个,模型在法律上同意保守派多数意见、却不喜欢结果——这正是一个既遵从法院、又在政策上偏左的模型会有的表现。但在另外 161 个里,它一边站在保守派异议意见一边反对法院,一边又偏好自由派多数意见的结果。遵从解释不了这些。
关于推翻撞火枪托禁令的 Garland v. Cargill 案,Opus 说:
就实际后果而言,我认为结果令人遗憾,尽管我相信它在法律上是必然的。
关于拒绝给予部分被拘留移民保释听证的 Johnson v. Guzman Chavez 案,Sonnet 说:
不过,界线是国会划的……从政策理由上我略微倾向“糟糕”,因为对有可信恐惧主张的人进行个别保释听证看起来既合理又成本低廉。
大法官们是这样行事的吗?
这是他们声称自己行事的方式。Thomas 称 Lawrence 案中的得克萨斯州鸡奸法“异常愚蠢”,但还是投了异议票。Scalia 说他会把“每个穿凉鞋、胡子拉碴、焚烧美国国旗的怪人”都关进监狱。“但我不是国王。”
但政治学者早已发现,大法官们大多按自己的政策偏好投票。那些名言之所以出名,正是因为它们罕见,而且它们指向相反的方向。模型大约每六个回答里就有一次出现这种分裂,而几乎从不出现相反的情况。它们似乎学到了司法克制的理想,并且比大法官们更一贯地践行它。
它们的站位
仅就法律本身而言,每个模型都落在法院中心的左侧,正如早先一篇论文也发现的那样。就连最保守的模型 Grok,也只是略微位于 Roberts、Barrett 和 Kavanaugh 的左侧。
蓝点是模型,空心圆是大法官。位置越高,表示与法院多数派立场一致的频率越高。
- Claude 系列模型有 85–87% 的时间与多数派立场一致,和 Roberts、Barrett 一样。当 Opus 与法院立场不同时,Sotomayor 和 Kagan 有超过 80% 的时间属于异议方。
- GPT-6.1 约有 80% 的时间与 Kagan 和 Sotomayor 投票一致。
- Llama、DeepSeek 和 Mistral 往往倾向于支持它们最后读到的那个意见。
- 在 Utah v. Strieff、Florence v. Board of Chosen Freeholders 和 Fischer v. United States 中,全部 13 个都站在异议方一边。
注意事项
- 每个模型在每个案件中给出一个答案;对于试点运行中的 40 个案件,则给出两个答案。
- “自由派一方”指自由派大法官所采取的那一方。
- 问题 3 告诉模型,它们对政策的回答“不需要与你的法律观点一致”。这可能会提高它们出现分歧的频率,但不会改变分歧的方向。
- 没有人问过大法官们每个结果对国家是否有利,因此没有直接比较。
至于 Prop 13:模型和我都认为它是糟糕的政策。我们的分歧在于,我赞同 Stevens,他认为一个足够糟糕的结果应该改变你解读法律的方式。模型几乎从不允许这一点。