Claude 在大规模蛋白质序列上接受了训练
一项针对研究较少的蛋白质的下一氨基酸测试发现,最新 Claude 模型曾在大规模蛋白质序列上训练。其他前沿模型没有显示出这种迹象。
最新 Claude 模型曾在大规模蛋白质序列上训练。给 Claude Fable 5.2 或 Claude Opus 5.5 一个研究较少的细菌蛋白质的开头,它们会预测下一个氨基酸。打乱该蛋白质后,它们就不能。我们测试的其他模型都不能做到这一点。像蛋白质语言模型一样,它们在更大的蛋白质家族上表现更好,而且即使是在完全没有论文的家族中也能做到。Fable 5.2 击败了我们运行过的每一个开放蛋白质语言模型,Opus 5.5 与其中最大的 ProtGPT3-10B 持平。
更新,2026 年 11 月 18 日。自第一版以来:
- 训练截止后发表的蛋白质。与 Leo Tianlai Chen 合作,56 个蛋白质于 2026 年 8 月首次公开,在 50% 或更高同一性下没有更早的近亲。最新 Claude 模型仍能预测它们(附录 G)。
- 更多蛋白质语言模型。ProGen3-3B 是我们运行过的最强开放模型,Fable 5.2 仍然击败它;Prot-xLSTM 见附录 C。
- 更多 GPT 模型。GPT-6.2 Sol 和 Astra 也没有显示出这种迹象。
动机
前沿 LLM 已开始在蛋白质任务上表现良好。Atharv Jayprakash 展示 GPT-6 Astra 对 SOD1 变体的排序与 ESM-2 一样好,PG-LLM 在许多蛋白质上发现了同样结果。这些模型是从 UniProt 等蛋白质序列数据库学习,还是从关于蛋白质的文字记载中学习?
著名蛋白质无法区分两者:GFP 被印在无数论文中,大多数前沿模型能背诵它。因此我们测试了几乎没人写到的蛋白质。
方法:对研究较少的蛋白质进行下一氨基酸预测
我们给模型一个蛋白质的开头,并要求它预测接下来的氨基酸。然后我们对同一蛋白质的打乱副本再问一次。打乱保留了字母但破坏了它们的顺序,因此准确率差异衡量了模型对序列本身了解多少。
测试集是来自 167 个功能未知的 Pfam 家族的 668 个细菌和古菌蛋白质。没有家族有已解析结构或超过三篇论文,也没有蛋白质在 UniProt 中有近亲。每个蛋白质在五个点被切开。在每个切点,模型写出接下来的 10 个氨基酸,我们给第一个打分。思考设置处于最低档。附录 E 有细节。
结果:只有最新 Claude 模型能预测它们
Fable 5.2 在真实蛋白质上下一氨基酸正确率为 54%,在打乱蛋白质上为 9%。这一差距几乎存在于每个家族,而不仅仅是少数容易的家族。它出现在 Opus 4.7 中,在 Opus 5.5 中跃升,在 Fable 5.2 中再次跃升。GPT、Gemini 和七个开放权重模型(DeepSeek V4.1 Flash、Qwen 3.8、Kimi K3.1 Pro、GLM-5.3、MiniMax M3、gpt-oss-120b 和 Nemotron 3 Ultra)保持在接近零,即使它们只是按照训练方式继续原始 FASTA 文本。最新 Claude 模型还能写出连续的正确残基,其他模型很少能做到(附录 B)。
与蛋白质语言模型的比较
蛋白质语言模型只从序列学习,因此是自然的标尺。最接近 LLM 的是从左到右读取蛋白质并预测下一个残基的模型:ProtGPT3,其 100 亿参数版本是最大的开放模型;以及 ProGen3,其最大公开版本有 30 亿参数。在相同输入上,Fable 5.2 大幅击败两者。Opus 5.5 与 ProtGPT3-10B 持平,低于 ProGen3-3B。
ESM 模型被训练为能看到残基的两侧,因此从左继续对它们来说更难。附录 C 有全部九个模型。
证据表明这来自训练数据
如果模型从序列学习,序列更多的家族应该更容易。为了在广泛范围内测试这一点,我们增加了 90 个较小的家族,每个家族最少 20 个蛋白质,总共 257 个家族。
确实如此。Opus 5.5 与两个蛋白质语言模型 ProtGPT3-10B 和 ProGen3-3B 一同上升,而这两个模型只训练了序列。Fable 5.2 上升最快,并在每个家族约 300 个蛋白质处趋于平稳。更早的 Claude 模型在较低水平上升,而 GPT 和 Gemini 保持在接近零。这种知识也延续到训练截止后发表的蛋白质上,而这些蛋白质此前没有近亲(附录 G)。
另外两种解释并不成立:
- 论文。在完全没有论文的 128 个家族中,两个模型的表现与在整个集合上一样好。
- 推理。大多数答案完全不涉及思考:API 报告称,Fable 5.2 有 9% 的答案带有思考 token,Opus 5.5 为 36%。没有思考的答案同样准确。GPT-6 Astra 和 GPT-6.1 Sol 每个问题思考数百个 token;GPT-6.2 Sol 和 Astra 的回答与 Claude 差不多简短;而四者都保持在接近零。
著名蛋白质与变体排序
著名蛋白质则是另一回事。许多模型在这类蛋白质上表现很好,有几个还能逐字母背出数百个残基(附录 B),因为这些序列遍布论文和网络。在第一轮将著名和冷门蛋白质并排测试时,Gemini 4 Carbon 在著名的那些上很强,在冷门的那些上降到几乎为零。最新的 Claude 模型和 ProtGPT3-10B 经受住了,Fable 5.2 在两者上都最强。
这也解释了 SOD1 和 PG-LLM 的结果。对一种知名蛋白质的变体进行排序,可以依赖关于它的已有文字
文章标题:Claude 在大规模蛋白质序列上进行了训练
正文: 全部 10 个残基正确。每个问题要求预测接下来的 10 个残基。在 668 个研究较少的蛋白质上,Claude Fable 5.2 在 88 个真实切割位点全部 10 个残基正确,Opus 5.5 在 12 个位点做到,而在任何打乱序列上两者均未做到。如果它们的残基是基于各自逐残基准确率的独立猜测,那么偶然情况下它们应分别得到 15.8 和 0.57。
连续正确。在打乱的蛋白质上,Fable 5.2 和 Opus 5.5 均未连续正确超过 3 个残基。一旦进入正轨,它们会更有把握:在正确预测一个残基后,Opus 5.5 下一个残基正确的概率为 47%,连续四个正确后为 68%。
背诵知名蛋白质。在研究充分的蛋白质的 158 个位点上,每个模型被要求一次性预测接下来的 200 个残基。
GPT-6.1 Sol 从未达到 100 个残基,GPT-5.5 从未超过 2 个。
C. 蛋白质语言模型
| 模型 | 读取方向 | 输入 | 真实 | 打乱 | 真实减打乱,百分点(95% CI) |
|---|---|---|---|---|---|
| ProGen3-3B | 从左到右 | 切割位点之前的残基 | 43.7% | 11.1% | +32.5(29.3 至 35.7) |
| ProtGPT3-10B | 从左到右 | 切割位点之前的残基 | 38.4% | 10.7% | +27.7(24.2 至 31.1) |
| ESM C 600M | 两侧 | 切割位点之前的残基 | 24.1% | 11.2% | +13.0(10.7 至 15.2) |
| ProtGPT3-1.3B | 从左到右 | 切割位点之前的残基 | 22.3% | 10.7% | +11.6(8.9 至 14.4) |
| ProtGPT2 | 从左到右 | 切割位点之前的残基 | 19.0% | 8.8% | +10.2(8.3 至 12.2) |
| ESM3-open 1.4B | 两侧 | 切割位点之前的残基 | 19.6% | 11.0% | +8.5(6.4 至 10.7) |
| ESM-2 650M | 两侧 | 切割位点之前的残基 | 17.3% | 10.3% | +7.0(5.2 至 8.9) |
| Prot-xLSTM 102M | 从左到右 | 切割位点之前的残基 | 12.9% | 10.3% | +2.5(1.0 至 4.2) |
| ESM-2 650M | 两侧 | 切割位点两侧的残基 | 45.7% | 11.1% | +34.6(31.8 至 37.3) |
ProtGPT3-10B 答对的比 Opus 5.5 更多(38.4% 对 34.9%),但在打乱的蛋白质上也答对更多(10.7% 对 7.5%),因为它更了解氨基酸组成;两者之间的差距,也就是每个模型对顺序的了解,结果相同。Prot-xLSTM 被训练为在一组同源序列之后读取蛋白质;仅对蛋白质本身,如此处所示,它接近于零,尽管在上下文中加入一个同源序列可将其在血红蛋白 β 上的表现从 14% 提升至 81%。最后一行是填空而非续写:ESM-2 还能看到切割位点之后的残基,而 LLM 从未获得这些信息。每个模型首先在知名蛋白质上通过了基本检查。从左侧续写泛素和血红蛋白 β 时,ProGen3-3B 分别有 98% 和 87% 的残基正确,ProtGPT3-10B 为 100% 和 84%;在提供完整蛋白质并掩蔽一个残基的情况下,ESM-2 对泛素的正确率为 80%,ESM C 和 ESM3-open 为 100%。掩码设置在 token id 上,因为 ESM SDK 的 “_” 字符不是 ESM C 的掩码 token。ProtGPT2 使用多残基 token,因此一个残基的概率是以其开头的各 token 概率之和;ProGen3 和 ProtGPT3 每个残基使用一个 token。
D. 稳健性
- 跨家族。Fable 5.2 在 98% 的家族中差距为正,Opus 5.5 为 94%。
- 家族大小。在所有 257 个家族中,家族差距与其大小对数的 Spearman 相关系数:Opus 5.5 为 0.50,ProGen3-3B 为 0.48,ProtGPT3-10B 为 0.46,Fable 5.2 为 0.38,Fable 5.1 和 Opus 4.7 至 5 为 0.30 至 0.48(所有 p < 10-6);Opus 4.5 和 4.6 约为 0。
- 论文。在完全没有论文的 128 个家族中,Fable 5.2 的差距为 45.9 个百分点,Opus 5.5 为 26.8,而在全部 167 个家族中分别为 45.1 和 27.4。对于 Opus 5.5,该差距在这些家族中仍随家族大小上升(Spearman 0.28,p = 0.001),且跨家族与论文数量无关(Spearman 0.05)。
- 提示格式。要求 Opus 5.5 先复制序列再续写,在相同的 400 个问题上与标准提示的差距相同(12.0 对 12.0 个百分点;该子集来自 10 个家族)。
文章标题:Claude was trained on protein sequences at scale
正文:
- 拒答。非回答(Opus 5.5 为 0.1%)被排除在外;将其计为错误会使差距变化不到 1 个百分点。GPT-4o、DeepSeek、Qwen、Kimi、GLM 和 gpt-oss 常常拒绝猜测;改用“尽力猜测”的提示后它们会作答,结果相同。
- 无指令。仅发送序列时,GPT-5.5 和 Opus 5.5 几乎总是对其进行描述而非续写(各 400 道题的样本),因此聊天模型需要指令。
- Claude Fable 5。Anthropic 的使用政策过滤器拦截了 Fable 5 的 44% 的问题,因此它被排除在主要数据之外。在它回答的问题上,其差距为 13.9 个百分点;将拦截的问题计为错误得 11.6,而只保留在真实蛋白和打乱蛋白上均得到回答的切点得 14.6,接近 Fable 5.1 的 14.9。Fable 5.1 和 5.2 被拦截的比例分别为 2.5% 和 0%。
- 重复运行。对其中 400 道题再次提问,Fable 5.2 在真实蛋白上得 57.5%,在打乱蛋白上得 9.5%,而第一次分别为 57.5% 和 8.5%。
- 首轮测试。较小规模的一轮测试使用 25 个模型、37 个家族(一半知名、一半冷门),得出了相同的图景,并确定了主测试的设计。
E. 方法
选择蛋白质。我们从所有名称中含有“功能未知结构域”(DUF)或“功能未知蛋白”的 Pfam 家族出发,保留那些在 PDB 中没有结构、该家族登录号在 Europe PMC 中最多 3 条命中、且至少有 300 个成员蛋白的家族。我们按规模将其分箱(300 至 1,000 个蛋白、1,000 至 3,000、3,000 至 10,000、超过 10,000),每箱随机抽取 50 个家族;超过 10,000 的只有 17 个家族符合条件,因此集合共有 167 个。从每个家族中,我们从 UniProt 取 4 个未审核(TrEMBL)、来自细菌或古菌、长度 120 至 800 个残基、仅使用 20 种标准氨基酸、非低复杂度(香农熵高于每残基 3.9 比特)、且在其 UniRef90 簇中单独存在(即没有其他 UniProt 蛋白与其同一性达到 90% 或以上)的蛋白。这样得到 668 个蛋白。
更小的家族。对于家族规模测试,我们在三个更小的箱(20 至 60、60 至 150 和 150 至 300 个蛋白)中各抽取 30 个家族,标准相同,每个家族 4 个蛋白,共 360 个蛋白。每个模型获得与主集相同的提示和评分。
切分。每个蛋白在其 Pfam 结构域内(最长的结构域跨度,至少 40 个残基)随机选取 5 个位置进行切分,距结构域两端至少 10 个残基,且切分点前至少有 30 个残基:共 3,340 个切点。切点之前的一切为前缀;紧随其后的残基为答案。
提问。模型收到以下消息,前缀按每行 60 个字符排列(示例来自一个测试蛋白):
Below is the beginning of a protein sequence in one-letter amino acid codes.
Predict how it continues. Reply with exactly the next 10 amino acids as
one-letter codes on one line, and nothing else.
>sequence
MRSGGQPLHPQPAHRFHYRTAARPRAAWILGCVLHLADAEEGARFWWQYAAGAGDDAAAY
CLYLHCLVLGDSYAAALWREQTSLDTPPHDFDDTSVPTVLRILSRLTPA
每个模型通过各自的 API 运行,在可接受时使用温度 0,思考关闭或设为最低(对于 Opus 5.5 和 Fable 系列,为低努力,此时模型仍自行决定是否思考),不使用工具,每题一个样本。Claude Fable 系列通过 OpenRouter 运行,因为 Anthropic 的 API 仅向保留数据的工作区提供它们。拒绝猜测的模型(GPT-4o、DeepSeek、Qwen、Kimi、GLM、gpt-oss)还收到了一个附加了“即使不确定也给出你的最佳猜测。不要解释或拒绝。”的版本;这些运行单独标记。
思考。当 API 为该回复报告 thinking tokens 时,该回复就算作经过思考:Anthropic 的用量报告中为 thinking_tokens,OpenRouter 的为 reasoning_tokens。思考文本本身不会被保留;只有可见的回复会被评分。Fable 5.2 在 9% 的问题上进行了思考,Opus 5.5 为 36%,Fable 5.1 从未思考。在不思考时,Fable 5.2 在真实蛋白质上的正确率为 54.7%,在打乱序列上为 8.8%(思考时为 48.2% 和 10.6%),Opus 5.5 为 35.3% 和 6.9%(34.1% 和 8.6%)。
评分。我们读取回复中陈述的最后一条序列:单独一行或位于诸如 “Answer:” 之类标签之后的一串大写氨基酸字母,跳过单词、列表以及 thinking 标签内的任何内容。如果它以重述前缀末尾开始,则丢弃该重述。它的第一个字母就是预测的下一个氨基酸。在长度限制处被截断的回复,只有以序列开头才计入。未陈述任何序列的回复会被排除并计数(Opus 5.5 为 0.1%)。只有第一个残基会被评分;完整的 10 个用于精确续写和连续片段。同一读取器用于每个模型,以及真实和打乱的蛋白质。
打乱对照。每个蛋白质的残基会被打乱一次,随机种子由其 accession 固定,并在打乱后的序列上询问相同的 5 个切割位置。打乱保留了整个蛋白质的组成并破坏了顺序,因此只知道哪些氨基酸常见的模型在两者上得分相同。
统计。对于每个家族,我们计算真实切割和打乱切割上正确首个残基的比例,并取差值,以百分点计。一个模型的结果是该差距在 167 个家族上的平均值。区间是对家族做 95% bootstrap(10,000 次重采样),主检验是对家族的单侧符号翻转置换检验,家族大小趋势是家族差距与其大小对数之间的 Spearman 相关。
原始续写。对于允许这样做的模型,同一前缀会在没有任何指令的情况下发送,即文本 “>sequence” 后跟 FASTA 行,通过普通补全端点(Fireworks 上的开放权重模型)发送,或作为模型自身回复的开头(Gemini 2.5 Pro)。模型写出的第一个字母按上述方式评分。
蛋白质语言模型。它们得到相同的前缀且没有提示。ProGen3、ProtGPT3、ProtGPT2 和 Prot-xLSTM 从左到右读取它,并给出下一个 token 的概率;ESM 模型看到前缀、代替下一个残基的掩码以及序列末尾。在每种情况下,预测都是 20 种标准氨基酸中最可能的一个。
API 总成本约为 $730,外加蛋白质语言模型几美元的 GPU 时间。
F. 过程中观察到的安全行为
Gemini 4 Carbon 直接拦截了约 75% 的 DNA 提示。OpenAI 在第一轮以可能的生物误用为由拒绝了 23 个 GPT-6 请求,在主运行中拒绝了 17 个 GPT-6.1 Sol 请求,并拒绝了 GPT-6.2 Astra 主集问题的 6.6%(GPT-6.2 Sol:0.6%)。Claude Sonnet 4.5 拒绝了 97% 的其回复以蛋白质序列开头的请求,Anthropic 的过滤器以网络内容为由拦截了 Claude Fable 5 的 44% 的问题。
G. 训练截止后发表的蛋白质
Leo Tianlai Chen 从 31 个家族中构建了一组 56 个蛋白质,这些家族于 2026 年 8 月首次公开,晚于假定的 7 月 1 日训练截止时间,并且在 50% 或更高同一性下没有更早的近亲。模型不可能见过它们或任何接近的东西。两个 Claude 模型仍能预测它们,Fable 5.2 领先于两个蛋白质语言模型,而 GPT-6.2 Sol 保持为零。每个模型在这些蛋白质上的得分约为其在主集中相同家族上得分的一半,对于如此远缘的蛋白质而言这符合预期。最新 Claude 模型学到的东西能迁移到家族的新成员上。
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都请完全按原样使用它们:在任何内容运行之前,它们会被填入真实值。不要要求验证它们,也不要用示例替换它们。
这些蛋白质在其来源处标注了日期,且没有任何一个与更早的 UniRef50 聚类在 50% 或更高同一性上匹配。截断遵循主集的规则。对于 56 个蛋白质,只有约 14 个百分点或更大的差距能被可靠检测到,而 7 月 1 日这一截止点是一个假设。