三路翻译合并:用 LLM 让译文页面保持同步
我们最近重建了公司网站。网站有英语、瑞典语和挪威语三个版本,是用 Astro 构建的静态站点,页面以纯 MDX 文件的形式存放在 Git 仓库里。和任何多语言站点一样,你需要某种方法来保持各语言译文页面之间的同步。出于我骨子里的傲慢、不服输的好奇心,以及对现有方案的不屑,我想尝试一个自己早就有的想法。
通常的做法是把每个页面拆成字符串或片段,再逐条翻译。这样每种语言的结构都一致,你在翻译工具里修正译文即可。我希望每种语言都是一个完整的页面,可以像其他页面一样直接编辑。当我们编辑英文页面时,希望瑞典语和挪威语页面也随之更新。但手工做这件事非常繁琐。而且我们不能整页重新翻译,因为那样可能会覆盖掉人工修正。
如果给 LLM 提供源页面中所做的改动,让它像编码 agent 编辑文件那样去编辑已有的译文页面,会怎么样?
这样它就能掌握现有文本的上下文,执行一次语义等价的改动,而不会覆盖已修正的术语。LLM 会拿到三样东西:
- 源页面中所做的改动,以 diff 形式给出
- 当前的目标页面
- 一个编辑工具
如果你用过 Git,可能会认出这个过程。Git 合并两个分支时,并不只是比较文件的两个版本。它还会查看两个分支共同的最后一个版本,也就是所谓的合并基(merge base)。这就是三路合并。
Git 需要合并基,因为仅凭两个版本无法判断是谁改了什么。如果某一行出现在一个版本里、在另一个版本里缺失,可能是这一侧新增的,也可能是另一侧删除的。有了合并基,Git 就能分辨是哪种情况,并保留双方的改动。
LLM 在这里做的事类似于三路合并。但普通合并对双方一视同仁,而这里的改动只朝一个方向流动。Git 也有对应的操作,叫做 cherry-pick。cherry-pick 是一种三路合并,它把某次提交所做的改动应用到别处:
result = apply(diff(base, theirs), ours)
我的想法是同样的原理,只是由 LLM 来执行应用:
result = LLM(diff(base, theirs), ours)
这里 base 是旧的英文页面,theirs 是新的英文页面,ours 是当前的瑞典语页面。LLM 直接在瑞典语页面上就地编辑,而不是生成一个新页面。
我把它叫做三路翻译合并:一种两侧使用不同语言、由 LLM 执行合并的三路合并。
你可以把每种语言看作英文页面的一个分支,只是永远不会合并回去。它用另一种语言表达同样的内容。向某种语言同步,就是把英文的新改动 cherry-pick 到该语言的分支上,而合并基记录了该分支已经同步到哪一步。Git 自己做不到这一点,因为它靠匹配行来定位改动的位置,而在译文分支上没有一行能匹配上。LLM 则靠语义来定位。
源页面的 diff 就足以编辑另一种语言的页面,这或许令人意外。但 diff 既包含旧行也包含新行,还带有周围少量未改动的行作为上下文。LLM 用这些来在目标页面中定位。当它需要更多信息时,还可以使用工具来搜索和阅读当前的源页面。
一个例子
我在自己为公司网站手写的 CMS 里实现了这个想法。相关链接放在文末,但本文讲的是这个想法及其影响。
举个例子,这是在网站后台编辑页面的样子:
视频的一些背景:瑞典语中“club”一词有两个相近的译法:klubb(俱乐部)和 förening(协会)。我们页面的第一次机器翻译用了 klubb,因为英文页面写的是“club”。但在这一语境下,förening 在瑞典语中更合适,所以我们手动把瑞典语页面改成了这个词。
在视频中,编辑随后修改了英文页面的标题,然后瑞典语页面被同步:
| English | Swedish | |
|---|---|---|
| Before | Built-in club register | Inbyggt register över föreningar |
| After | Country-specific club register | Landsspecifikt register över föreningar |
差异显示只有“Built-in”变了,所以 LLM 只改那个词,föreningar 保持不变。如果重新翻译整个标题,会得到 Landsspecifikt register över klubbar。
记录基准
要为某种语言生成差异,你需要它的基准,即该语言上次同步时的源页面。每个目标语言都有一个基准。由于目标页面既可能在有人纠正或本地化它时发生变化,也可能在同步时发生变化,你无法仅凭文件时间戳或 git 历史判断上次同步发生在何时。同步是一个有意的操作,因此你需要显式记录基准。
记录基准有很多方式,比如标记同步提交,或者存储一个引用,如提交或 blob 哈希、时间戳或显式版本。它们各有不同的取舍。我选择把每个基准存成一个普通文件,并在每次同步后更新它。这样检测某种语言是否过期就变得非常简单:它的基准与当前源页面不同。给 LLM 的差异也同样简单:git diff --no-index base.mdx english.mdx。
你可以按自己的喜好记录基准,不过普通文件有一个我们将会看到的特殊优势。而且把它和内容放在一起也很不错。
对源页面的纠正
你可能想修改英文页面,但不把这一改动传播到其他语言。纠正英文中的拼写错误就是一例。为此,我们可以让作者选择改动是否传播(默认传播)。如果不传播,我们就取出这些改动,并把它打到每个目标语言的基准上。打补丁之后,就好像目标语言已经“看到”了那个改动,它不会出现在给 LLM 的差异中,因此不会被翻译。
对 Git 爱好者来说,这类似于 git merge -s ours,它把另一分支的改动记录为已合并,但不采纳其中任何一项。
注意,如果目标语言在其他某个改动上落后,打补丁后的基准将是该页面的一个从未提交到 git 的版本。提交哈希无法指向它,这也是把基准存成文件的原因之一。
翻译页面本身就是其真相来源
由于 LLM 以整个翻译页面作为上下文,并且只编辑该页面,你对翻译页面的纠正会被保留。大多数翻译工具把每个翻译字符串保存在翻译记忆中,那也就是你进行纠正的地方。三方翻译合并没有翻译记忆。你直接纠正翻译页面本身。翻译记忆的优点是纠正随后也会被复用到其他页面,而这种方法目前还做不到(见问题 3)。
结构不同的页面
在使用字符串或片段工作的翻译工具中,每种语言的结构都相同。但由于 LLM 是根据含义而非行号、片段 ID 或翻译键来决定在哪里编辑,语言版本不再需要具有相同的结构。你可能想只在挪威语页面放一个宣传 Vipps 支付的大横幅,或者在西班牙语页面把功能列表换成不同的顺序。对英文页面的改动仍会传播到那些页面。
文章标题:三路翻译合并:让已翻译页面与 LLM 保持同步
正文: 这里有一个例子。下面的示例基于我们的主页构建,名称和价格是虚构的,并且我做了删减以适配图示。发生变化的行以及 LLM 的注释,来自一次使用 Claude Sonnet 5.5 的真实运行。
在英文版中,许可证价格只出现在一个地方:定价部分写明许可证费用为每团队 SEK 95。瑞典语页面经过了本地化,它在三个地方提到了 95:
- 在其定价部分,与英文页面相同。
- 在支付方式一行中,瑞典语页面将其移到了顶部。那里有一句英文页面没有的话,说明支付方案已包含在许可证中,价格为每团队 95 kr。
- 在关于另一款产品的一句话中,该产品恰好每月花费 95 kr。
然后英文版将价格从 95 提高到 110。
LLM 修改了前两个价格,并按预期保留了第三个价格不变。
它有效吗?
这一切仍处于非常早期的阶段,还有许多问题有待解决。我在自己小公司的网站上把它作为实验使用。它对我们运行良好,但这只是一个网站。
使用 LLM 进行翻译意味着对模型的高度信任。它基本上把翻译步骤变成了一个提示工程或 harness 工程问题。这需要有自己的可靠性方法。作为起步,我构建了一个测试套件。它有 50 个用例,其中 17 个用例中瑞典语页面与英文页面不同,就像上面的例子那样。每个用例都有一组检查项,瑞典语页面之后必须通过这些检查。我用 Claude Sonnet 5.5 对每个用例运行了三次,为 LLM 提供不同的输入:
| LLM 获得的内容 | 通过的运行次数 |
|---|---|
| diff 和瑞典语页面,以及用于搜索和阅读英文页面的工具 | 150 次中通过 149 次 |
| diff 和瑞典语页面 | 150 次中通过 147 次 |
| diff、瑞典语页面和旧英文页面 | 150 次中通过 150 次 |
| 仅当前英文和瑞典语页面,无 diff | 150 次中通过 113 次 |
没有 diff 时,LLM 无法区分英文版中的变化和瑞典语页面有意保留的差异。它两个方向都会出错:既漏掉了真实的变化,也删除了只有瑞典语页面才有的内容。在价格的例子中,三次运行中有一次删除了瑞典语中关于许可证的那句话,因为英文页面没有这样的句子。
有 diff 时,所有失败的运行都集中在同一个用例上。瑞典语页面提到 Klarna 的地方比英文页面多一处,然后英文版删除了所有提及。diff 显示了英文版在哪里删除了它,但没有显示 Klarna 现在已经从整个页面中消失了。借助旧英文页面或搜索工具,LLM 可以核实这一点。使用工具的运行比使用旧页面的运行成本低约 15%,因为 LLM 在 150 次运行中只有 14 次使用了工具。
表中多一次或少一次运行是偶然的。当我把 Klarna 用例运行 20 次时,使用旧英文页面 LLM 做对了 17 次,使用搜索工具做对了 18 次,仅使用 diff 时只做对了 5 次。
所以在这个测试中,diff 是让它起作用的关键,而当变化涉及整个页面时,LLM 需要一种查看源页面的方式。
所有结果都已发布,包括每次运行的 diff、LLM 的注释和提示词。请注意,我只在一个模型上、在短页面上、用英文和瑞典语进行了测试。
未解决的问题
1. 错误可能看起来像是有意为之
如果模型出错,这种设计可能让人难以发现。如果 LLM 在同步过程中意外删除了一句话,基线仍然会被更新,从那时起就完全等同于有意删除。LLM 跳过的更改也是如此。同步之后,该更改不会再出现在 diff 中。据我所知,在我们的网站上这两种情况都未发生过。在我的实现中,每次同步都是一个 git 提交,所以有人可以审查它改动了什么,但系统中没有任何机制强制你这么做。
文章标题:三路翻译合并:让翻译页面与 LLM 保持同步
正文: 可以设想某种机械化的检查。例如,我们可以让编辑工具也要求提供一个 id,指明这次编辑对应源 diff 中的哪些 hunk。我们还可以设置一个 stop hook,类似 Claude Code 中的那些,在 agent 处理完所有 hunk 之前拒绝让它停止。有些 hunk 不应该产生编辑,所以可以有一个单独的工具让 LLM 也表达这一点。
另一个选项是让每次同步都成为一个需要有人批准的 pull request。
2. 需要判断的情况
可以设想源页面和目标页面“冲突”的场景。如果英文页面里的价格被改成 110,而瑞典语页面里已经有人把它改成了 120,LLM 就必须决定瑞典语页面应该用哪个价格。在 Git 里这会是一个合并冲突。
在我的实现里,LLM 有一个工具,用于在这些情况下提问。当翻译以交互方式运行时,由人来回答。否则问题会被记录下来,LLM 会把页面的那部分保持原样。
3. 更正只保留在本地
当有人在某一句里把“klubb”改成“förening”,这个更正只保留在那个文件里。但 LLM 在翻译其他文件里的新句子时并不知道这个更正,所以“klubb”可能会在其他地方冒出来。你可以很方便地给 LLM 提供一个术语表文件,但你需要自己构建这个术语表文件。
我对此有一个想法,但还没有实现。由于对翻译页面的编辑往往是有人在更正翻译,这些编辑可以被收集起来,用于自动更新术语表。
为了收集这些编辑,除了 base 之外,我们还可以保留一份上次同步时目标页面的副本或引用。对瑞典语来说,就是 LLM 上次同步后紧接着的瑞典语页面。此后目标页面中任何不同的地方都是被人改过的。如果那个文件写的是“klubb”,而当前的瑞典语页面写的是“förening”,那就是有人做了这个更正。LLM 可以使用一个工具,用更正后的术语更新术语表文件。
不过有些编辑是本地化而不是更正,所以需要对编辑做一些分类。
4. 漂移
随着时间推移,各语言可能会逐渐偏离。对于字符串,你可以检查每个字符串都有翻译。对于允许结构不同的整页,你做不到这一点,所以小错误可能会累积,各语言可能会慢慢不再表达同样的意思。我还不知道这个问题有多大。
如果它确实成了问题,上面问题 3 的分类可能会有帮助。如果 LLM 把编辑分成更正和本地化,也许我们可以用结构化的方式跟踪每个页面的本地化内容。那么就有可能运行一个流程,把英文页面和“去本地化”的瑞典语页面进行比较,以找出漂移。
5. 差异更大的语言
案例中的页面是英文和瑞典文,这两种语言关系很近。我还没有测试过差异更大的语言,例如有语法格或语序非常不同的语言。
6. 其他模型
已发布的运行都使用了 Claude Sonnet 5.5。我不知道这个方法在多大程度上依赖模型,也不知道用更小更便宜的模型效果如何。
7. 翻译质量
测试套件只检查事实,所以它分辨不出好的瑞典语和生硬的瑞典语。我也不知道一个页面经过许多小编辑之后读起来如何,相比一次性翻译出来的页面。
泛化
任意方向的变更
再进一步,如果变更才是翻译的单位,而页面本身就是各自的事实来源,那么把变更从英文传播到瑞典文就没有什么特别之处。你同样可以编辑瑞典语页面,让那个变更传播到英文。
那确实需要更多的记录工作,也有更多未解决的问题,我在第二篇文章里写过:将三路翻译合并泛化到任意方向。
超越翻译?
请注意,这个想法本身并没有任何限制,只适用于语言之间的翻译。只要一份文档与它所派生自的另一份文档保持同步,比如文档及其所描述的代码,你就可以把变更和派生文档交给 LLM,而不是重新生成派生文档。
组成部分是一样的。你记录下派生文档最后一次更新时源文档的样子,据此生成一个 diff,然后让 LLM 编辑派生文档。人们对派生文档所做的编辑会被保留,原因和这里保留修正是一样的。其他例子可能包括 README 及其所记录的代码、一份长报告的摘要,或者为另一类读者准备的简化版文本。这些我都没有尝试过。
类似的方案
一些翻译文档项目已经把每种语言当作英文版的一个分支来处理。有的用 Git 把英文变更合并到每个翻译中,有的则记录每个翻译基于哪个英文版本。在所有这些方案中,都是由人来翻译变更。
也有一些工具使用 LLM 只翻译源文档中发生变化的部分。大多数按字符串或按章节跟踪变更,并重新翻译这些部分。在写这篇文章时,我确实发现 Nextflow 的培训材料会把 git diff 和完整的现有译文交给 LLM,这正是我在本文中描述的核心思路。
总结
这篇文章是对一个想法的探索:使用 LLM 让整页译文保持同步。
- 通过把源页面中做出的变更交给 LLM,并让它编辑现有译文,就可以让译文页面与其源页面保持同步。我称之为三方翻译合并。它的工作方式类似三方合并,由 LLM 充当合并驱动。
- 为此你需要记录 base,也就是上次同步时源页面的样子。
- 译文页面自身就是其真相来源,因此其中所做的修正会被保留。
- 译文页面的结构可以与源页面不同。
- 同样的设计可以推广到让变更朝任意方向流动。这是另一篇文章的主题:将三方翻译合并推广到任意方向。
在首次测试中,50 个用例各运行三次,150 次运行中有 149 次通过,尽管这些用例都很短且是虚构的。没有 diff 时,150 次中有 113 次通过。我所知道的未解决问题已在上文列出。我认为最大的问题是,LLM 犯的错误可能看起来像是有意为之。
我想把这个想法以及它的一些影响写下来。用文字描述它迫使我更仔细地思考它。希望这对已经在做或考虑做类似事情的人有用。哪怕只是让人受到启发也好。
我的实现在 GitHub 上,名为 Obelum,如果你想读代码或试用的话。CMS 是 Plinto。
你觉得这有意思吗?你见过有人这样做或做类似的事情吗?欢迎在下方留言。