文章标题:用 AI 阅读财务文档
正文: 每个季度,一家公司借款人都要向银行发送一份 PDF。在大约第 12 页的某个地方,有一个小表格,里面有一个带括号的数字:(486)。这是 EBITDA,单位为千欧元,而且是负数。信贷分析师把它复制到电子表格里,重新计算净债务与 EBITDA 的比率,并将结果与贷款协议中的契约条款进行核对。如果该比率突破阈值,银行和借款人就要进行一场艰难的对话了。
现在想象一下,由 AI 系统来读这份 PDF。它看到“(486)”,然后存储 486。符号被弄反了。杠杆率看起来健康,契约条款通过了,而没有人注意到。
大多数文档 AI 演示展示的是一个聊天机器人回答关于 PDF 的问题。这很好,但这并不是银行大多数时候面临的问题。日常问题是把文档转化为有用的数据(即流入信用模型、风险限额和监管报告的值,在这些地方,差一点就是缺陷)。多模态 LLM 让阅读部分变得容易得多。它们并没有让信任部分变得更容易。
过去一年中,我花了相当一部分时间在金融领域构建和比较文档摄取流水线。这篇文章把我学到的东西提炼成一份面向 AI 工程师的供应商中立指南。我将涵盖:
- 为什么财务文档对 AI 来说很难,以及我见过的、会破坏真实世界流水线的具体陷阱。
- 检索 vs. 抽取:决定其他一切的那个决策。
- 三种架构原型,从 RAG 到带证据的逐页抽取,并为关键部分提供 Python 代码。
- 如何衡量质量,以及如何为你的用例选择正确的原型。

为什么财务文档很难
PDF 并不是你以为的那种文档。它是一组绘制指令:把这个字形放在这些坐标上,从这里到那里画一条线,在那个矩形里绘制这张图像,等等。没有“表格”,没有“行”,没有“列标题”。那些是你看到的东西,因为你的大脑对字形进行了分组。
财务报告在此基础上又增加了自己的陷阱:
- 会计记法。负值用括号表示:(486) 表示 −486。破折号可能表示零或“不适用”。
- 区域设置。1 234 是一个数字,用空格作为千位分隔符。12,5 % 使用小数逗号。同一份报告可能混用这两种惯例。
- 单位和币种。页眉中写一次“EUR thousands”,页面上的每个数字都继承它。漏掉页眉,你的数值就会差 1,000 倍。
- 期间。大多数表格将当前期间与比较期间并列展示。选错列,你就会得到去年的数字,这看起来合理,因此很危险。
- 版面。合并的页眉、跨页表格、粘在数字上的脚注标记(1 234¹),以及只出现在图表中的关键数字。
- 扫描件。已签署的合规证书和较旧的附件通常是完全没有文本层的图像。
- 幻灯片和电子表格。投资者演示文稿把数字放在图表和没有阅读顺序的文本框中。Excel 文件根本不是文档:它们是带有公式、隐藏工作表和每个标签页多个表格的小程序。
这些都不是什么稀奇事。这就是信贷、研究或 KYC 团队一个普通季度的样子。
构建模块
我见过的每一条摄取流水线都是由同样少数几个组件组装而成的。不同之处在于它们如何组合,以及哪一个被信任拥有最终决定权。
文章标题:用 AI 阅读财务文档
正文:
- 获取文本。像 pdfplumber 和 PyMuPDF1 这样的文本层解析器能快速且免费地给出精确的字符及其位置。对于扫描页面,你需要 OCR,可以是开源的(Tesseract、PaddleOCR),也可以是托管服务,如 Amazon Textract2 或 Google Document AI3,它们还会返回词级边界框。你还需要一些普通的转换工具:将页面渲染为图像、拆分文件,以及将 PPTX 和 DOCX 转换为 PDF。
- 恢复结构。版面感知模型同时从文本、位置和像素中学习。LayoutLM 系列4 5 开创了这一方向,而像 Docling6 这样的开源工具包将版面分析和表格结构识别打包成可用的流水线。最近,多模态 LLM 直接读取页面图像(及其文本),并返回你要求的任何结构。对于电子表格,结构恢复主要是确定性的代码:查找表头行、合并单元格,以及每个工作表中的多个表格。
3a. 使其可查找。将内容切分成块,对每个块进行嵌入,并将向量连同其页码一起存储。查询时,检索前 k 个块并对它们重新排序。这就是检索增强生成(RAG)。7
3b. 使其可信。通过 API 强制执行的 schema 向模型请求类型化字段,然后在代码中对照源文件检查每个值。增加第二次独立读取,并对代码无法证明的任何内容增加人工审核步骤。
检索还是抽取?
这是最重要的设计决策,而团队往往在不自觉中做出了选择。
检索回答问题。输出是一段文字或一段散文式的答案,由人来阅读。如果系统返回了一段略有错误的文字,读者通常能注意到,而引用可以让读者进行核对。
抽取产生数据。输出是数据库中的一行,每个字段一个值,在它被汇总成比率、限额利用率或监管报表之前,没有人会再读它。一个错误的值不是糟糕的答案:而是一起数据质量事故。
用银行业的话来说,这种区分通常如下所示:
- 检索:基于券商研报和申报文件的研究助手、政策与流程问答、“借款人对再融资说了什么?”之类的问题。
- 抽取:用于信用分析的财务数据铺陈、契约监控、KYC 数据采集、将条款清单中的条款录入预订系统,以及任何为模型或监管报告提供输入的内容。
监管机构关心第二类。BCBS 239 要求银行生成准确、完整且可追溯至来源的风险数据。8 像美联储 SR 11-7 这样的模型风险指引期望模型(而一个为信用模型抽取输入的 LLM 也构成模型的一部分)得到验证和监控。9 而如果你的用例涉及个人的信用状况,EU AI Act 将其归类为高风险。10 “LLM 是这么说的”在以上任何一场对话中都站不住脚。
三种摄取原型
在我构建和审查过的系统中,有三种原型不断出现。它们不是产品。它们是模式,而真实系统往往会将它们组合起来。
检索并回答(A)
文章标题:用 AI 读取财务文档
正文: 这是熟悉的 RAG 流水线,但有一个在金融领域至关重要的变化:电子表格走的是另一条路径。
在文本方面,一些细节将优秀的流水线与演示区分开来:
- 在元数据中保留来源信息。每个块都携带其文档 id、页码和章节。没有这些信息,就无法引用;而没有引用的答案只是一种观点。
- 按结构分块,而不是按字符数分块。按章节拆分,并尽可能保持表格完整。被切成两半的表格会产生没有表头的数字。
- 使用混合检索。嵌入模型在精确 token(如 ISIN、契约名称或“Q3 2025”)上表现较弱。将向量检索与关键词索引结合,多取 k 倍的候选,并让交叉编码器重排序。
- 考虑检索页面,而非文本。对于视觉信息丰富的文档,ColPali 风格的模型直接嵌入页面图像,在检索时跳过 OCR。11
在电子表格方面,嵌入单元格是一个错误。像“零售部门的总敞口是多少?”这样的问题需要的是 SUM,而不是相似度检索。在代码中检测表格,将其存储为行,让 LLM 针对每张表的简短摘要编写 SQL。然后在代码中于 SQL 运行前对其进行防护:解析它(例如使用 sqlglot),只接受一条 SELECT 语句,仅允许已知表,并强制 LIMIT。如果防护拒绝了查询,给模型一次修复机会,然后停止。
原型 A 每次提问成本低,且可扩展到数千份文档。其局限在于输出:散文式答案中的数字是未经验证的文本。如果你需要将该数字存入数据库,就需要原型 B 或 C。
带证据的全文件提取(B)
原型 B 在一次调用中将整个文档发送给多模态模型,并要求返回一个固定的指标列表。关键思路是:模型必须为每个值返回证据——读取该值的页码以及打印行的逐字引用。然后由代码检查证据。
从严格的 schema 开始。现代 LLM API 可以在解码时强制 JSON schema,因此响应始终可解析。12 使用 Pydantic13,schema 和验证器是同一个对象:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
from typing import Literal
from pydantic import BaseModel, Field
from google import genai
from google.genai import types
Metric = Literal["revenue", "ebitda", "net_debt", "interest_expense"]
class ExtractedValue(BaseModel):
metric: Metric
period: str = Field(description="Period as printed, e.g. 'Q3 2025'")
value: float | None = Field(description="Current period, signed: (486) is -486")
prior_value: float | None = Field(description="Comparative period, if printed")
unit: str = Field(description="Currency and scale, e.g. 'EUR thousands'")
page: int = Field(ge=1, description="1-based page where the value is printed")
quote: str = Field(description="The printed line, copied verbatim")
confidence: float = Field(ge=0, le=1)
class Extraction(BaseModel):
values: list[ExtractedValue]
client = genai.Client()
response = client.models.generate_content(
model=MODEL,
contents=[types.Part.from_bytes(data=pdf_bytes, mime_type="application/pdf"), PROMPT],
config=types.GenerateContentConfig(
response_mime_type="application/json",
response_schema=Extraction,
temperature=0,
),
)
extraction = Extraction.model_validate_json(response.text)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
from typing import Literal
from pydantic import BaseModel, Field
from google import genai
from google.genai import types
Metric = Literal["revenue", "ebitda", "net_debt", "interest_expense"]
class ExtractedValue(BaseModel):
metric: Metric
period: str = Field(description="Period as printed, e.g. 'Q3 2025'")
value: float | None = Field(description="Current period, signed: (486) is -486")
prior_value: float | None = Field(description="Comparative period, if printed")
unit: str = Field(description="Currency and scale, e.g. 'EUR thousands'")
page: int = Field(ge=1, description="1-based page where the value is printed")
quote: str = Field(description="The printed line, copied verbatim")
confidence: float = Field(ge=0, le=1)
class Extraction(BaseModel):
values: list[ExtractedValue]
client = genai.Client()
response = client.models.generate_content(
model=MODEL,
contents=[types.Part.from_bytes(data=pdf_bytes, mime_type="application/pdf"), PROMPT],
config=types.GenerateContentConfig(
response_mime_type="application/json",
response_schema=Extraction,
temperature=0,
),
)
extraction = Extraction.model_validate_json(response.text)
注意这个 schema 里不包含什么:利润率、比率、增长率。模型负责读取;Python 负责算术。每一个派生数字都由代码根据抽取出的输入计算得出,因此可复现、可测试。
schema 保证的是答案的形状,而不是其真实性。下一步是把每条引文对照 PDF 的文本层进行校验。我采用了分级的方式,因为「引文不在页面上」有很多原因,有些无害(换行、不间断空格),有些则不然(幻觉):
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
import re
from enum import Enum
from itertools import takewhile
class Tier(Enum):
EXACT = 1.0 # 引文在页面上,归一化后逐字一致
NUMERIC = 0.95 # 数字及其标签在同一页面上
FUZZY = 0.85 # 数字加上引文的大部分词
NONE = 0.6 # 任何地方都找不到
def normalise(text: str) -> str:
text = text.replace("\u00a0", " ").replace("\u202f", " ").replace("\u2212", "-")
return re.sub(r"\s+", " ", text).strip().lower()
def printed_forms(value: float) -> set[str]:
"""返回报告可能打印该数字的各种形式。"""
digits = f"{abs(value):,.0f}" if float(value).is_integer() else f"{abs(value):,.1f}"
forms = {
digits, # 1,234 或 12.5
digits.replace(",", ""), # 1234
digits.replace(",", " "), # 1 234
digits.translate(str.maketrans(",.", ".,")), # 1.234 或 12,5
}
if value < 0:
forms = {f"({f})" for f in forms} | {f"-{f}" for f in forms}
return forms
def has_number(page: str, form: str) -> bool:
return re.search(rf"(?<!\d){re.escape(form)}(?!\d)", page) is not None
def has_digit(word: str) -> bool:
return any(c.isdigit() for c in word)
文章标题:用 AI 阅读财务文档
正文:
def ground(v: ExtractedValue, pages: list[str]) -> tuple[Tier, int]:
"""Return the strongest tier found and the page it was found on."""
quote = normalise(v.quote)
words = [w for w in quote.split() if not has_digit(w)]
label = list(takewhile(lambda w: not has_digit(w), quote.split())) # "ebitda"
order = [v.page - 1] + [i for i in range(len(pages)) if i != v.page - 1]
best = (Tier.NONE, v.page)
for i in (i for i in order if 0 <= i < len(pages)):
page = normalise(pages[i])
if quote and quote in page:
return Tier.EXACT, i + 1
if v.value is None or not any(has_number(page, f) for f in printed_forms(v.value)):
continue
if label and all(w in page for w in label):
tier = Tier.NUMERIC
elif words and sum(w in page for w in words) / len(words) >= 0.6:
tier = Tier.FUZZY
else:
continue
if tier.value > best[0].value:
best = (tier, i + 1)
return best
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
import re
from enum import Enum
from itertools import takewhile
class Tier(Enum):
EXACT = 1.0 # the quote is on the page, verbatim after normalising
NUMERIC = 0.95 # the figure and its label are on the same page
FUZZY = 0.85 # the figure plus most of the quote's words
NONE = 0.6 # not found anywhere
def normalise(text: str) -> str:
text = text.replace("\u00a0", " ").replace("\u202f", " ").replace("\u2212", "-")
return re.sub(r"\s+", " ", text).strip().lower()
def printed_forms(value: float) -> set[str]:
"""Return the ways a report may print this number."""
digits = f"{abs(value):,.0f}" if float(value).is_integer() else f"{abs(value):,.1f}"
forms = {
digits, # 1,234 or 12.5
digits.replace(",", ""), # 1234
digits.replace(",", " "), # 1 234
digits.translate(str.maketrans(",.", ".,")), # 1.234 or 12,5
}
if value < 0:
forms = {f"({f})" for f in forms} | {f"-{f}" for f in forms}
return forms
def has_number(page: str, form: str) -> bool:
return re.search(rf"(?<!\d){re.escape(form)}(?!\d)", page) is not None
def has_digit(word: str) -> bool:
return any(c.isdigit() for c in word)
def ground(v: ExtractedValue, pages: list[str]) -> tuple[Tier, int]:
"""Return the strongest tier found and the page it was found on."""
quote = normalise(v.quote)
words = [w for w in quote.split() if not has_digit(w)]
label = list(takewhile(lambda w: not has_digit(w), quote.split())) # "ebitda"
order = [v.page - 1] + [i for i in range(len(pages)) if i != v.page - 1]
best = (Tier.NONE, v.page)
for i in (i for i in order if 0 <= i < len(pages)):
page = normalise(pages[i])
if quote and quote in page:
return Tier.EXACT, i + 1
if v.value is None or not any(has_number(page, f) for f in printed_forms(v.value)):
continue
if label and all(w in page for w in label):
tier = Tier.NUMERIC
elif words and sum(w in page for w in words) / len(words) >= 0.6:
tier = Tier.FUZZY
else:
continue
if tier.value > best[0].value:
best = (tier, i + 1)
return best
有两个细节值得借鉴。第一,EXACT 以下的每一档仍然要求数字本身以其任一打印形式出现,所以只是听起来对得上的引文并不能通过。第二,搜索从被引用的页面开始,然后尝试其他每一页:如果数字在别处被找到,页面引用会被更正而不是丢弃。该档位会与模型自报的置信度相乘,而后者本身校准很差,绝不应成为唯一的信号。
文章标题:用 AI 阅读财务文档
正文: 在 grounding 之后,确定性规则会压低置信度并附加说明:数值超出合理范围、相比上期出现大幅跳变、本期与上期相等、币种错误、毛利不等于营收减去销售成本。
只有到这时,最昂贵的部分才会运行,而且只针对存疑的数值。代码会裁剪出一个仅包含所引用页面的迷你 PDF,然后向第二个模型提出一个范围很窄的问题:“该指标该期间印刷的数值是什么?”如果它表示同意,该数值即被确认。如果它不同意,则替换该数值并标记。如果它什么也没找到,置信度就会被压低。大多数文档根本不需要第二次调用。
Archetype B 优雅且廉价:一次调用就拿到所有数字,并为每个数字附上证据。它的弱点也正来自这同一次调用。长报告会令注意力不堪重负,而众所周知,模型对长上下文中间部分的使用不如对边缘部分可靠。14 包含数十个数值的密集页面会漏掉其中一部分。而且,一段引文只给出页码,不给出页面上的位置,因此复核者仍然得自己去翻找那个数字。
带证明的逐页提取(C)
Archetype C 则把这种权衡倒转过来。代码把每一页渲染成图像(约 200 dpi 是个不错的默认值),并把它与该页的文本层配对。每个页面都在各自独立的调用中发给模型,因此模型能以完整分辨率查看页面,而且这些调用可以并行执行。模型返回每个数值的印刷原样,外加一个包围它的边界框。
要求返回印刷原样的数值(“(486)”,而非 -486)很重要。这让读取与解释保持分离,因此符号、量级和区域格式都由你可以测试的代码来应用。
例如,Gemini 返回的框是 [ymin, xmin, ymax, xmax],归一化到 0–1000 的网格上。15 由于该网格是相对于图像的,把它映射回 PDF 坐标只需页面尺寸,与渲染分辨率无关。使用 PyMuPDF1:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import fitz # PyMuPDF
def render(page: fitz.Page, dpi: int = 200) -> bytes:
return page.get_pixmap(dpi=dpi).tobytes("png")
def box_to_rect(box_2d: list[int], page: fitz.Page) -> fitz.Rect:
"""Map a [ymin, xmin, ymax, xmax] box on a 0-1000 grid to PDF points."""
ymin, xmin, ymax, xmax = box_2d
w, h = page.rect.width, page.rect.height
return fitz.Rect(xmin * w / 1000, ymin * h / 1000, xmax * w / 1000, ymax * h / 1000)
def ground_box(value_as_printed: str, label: str, box_2d: list[int], page: fitz.Page) -> str:
words = page.get_text("words") # (x0, y0, x1, y1, text, block, line, word_no)
if not words:
return "no_text_layer"
rect = box_to_rect(box_2d, page) + (-3, -3, 3, 3) # a little tolerance
inside = " ".join(w[4] for w in words if fitz.Rect(w[:4]).intersects(rect))
if normalise(value_as_printed) not in normalise(inside):
return "not_found"
mid_y = (rect.y0 + rect.y1) / 2
row = sorted((w for w in words if w[1] <= mid_y <= w[3] and w[2] <= rect.x0),
key=lambda w: w[0])
left_of_value = normalise(" ".join(w[4] for w in row))
return "grounded" if normalise(label) in left_of_value else "figure_only"
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import fitz # PyMuPDF
def render(page: fitz.Page, dpi: int = 200) -> bytes:
return page.get_pixmap(dpi=dpi).tobytes("png")
def box_to_rect(box_2d: list[int], page: fitz.Page) -> fitz.Rect:
"""Map a [ymin, xmin, ymax, xmax] box on a 0-1000 grid to PDF points."""
ymin, xmin, ymax, xmax = box_2d
w, h = page.rect.width, page.rect.height
return fitz.Rect(xmin * w / 1000, ymin * h / 1000, xmax * w / 1000, ymax * h / 1000)
def ground_box(value_as_printed: str, label: str, box_2d: list[int], page: fitz.Page) -> str:
words = page.get_text("words") # (x0, y0, x1, y1, text, block, line, word_no)
if not words:
return "no_text_layer"
rect = box_to_rect(box_2d, page) + (-3, -3, 3, 3) # a little tolerance
inside = " ".join(w[4] for w in words if fitz.Rect(w[:4]).intersects(rect))
if normalise(value_as_printed) not in normalise(inside):
return "not_found"
mid_y = (rect.y0 + rect.y1) / 2
row = sorted((w for w in words if w[1] <= mid_y <= w[3] and w[2] <= rect.x0),
key=lambda w: w[0])
left_of_value = normalise(" ".join(w[4] for w in row))
return "grounded" if normalise(label) in left_of_value else "figure_only"
注意,该数字框内的匹配基于框内词语拼接后的结果。文本层往往会把 1 234 拆成两个词:1 和 234,因此逐词匹配恰恰会在你最关心的数字上失败。生产版本还会检查数值上方的列标题(以确认期间),并处理旋转页面和裁切框,这两项都值得各写一个专门的测试。
结果是四种状态之一:grounded(已打印,且紧邻其标签)、figure_only(已打印,但标签在别处)、not_found,或 no_text_layer(扫描件,因此没有可独立核对的内容;改为带词框运行 OCR,并据此进行 grounding)。
Grounding 很强,但仅靠它还不够。它无法告诉你一个正确打印的数值被归到了错误的指标下。因此 archetype C 在一次读数与数据库之间叠加了若干独立检查:
- Schema。API 强制规定 JSON 结构,且指标必须来自固定字典。
- Grounding。即上面的代码。
- 盲交叉读取。由另一个模型在看不到第一个答案的情况下读取同一行和同一列。代码比较两者。使用不同模型家族可减少相关性错误。
- 规则。符号约定、与历史相比的量级、期间与刻度一致性、必须加总的求和项,以及每个指标和期间恰好一个数值。
- 置信度阈值。必要,但永远不充分。
最重要的属性在说明文字中:fail closed。未运行的检查计为失败。超时的交叉读取会将数值送入复核,而不是放行。复核队列不是事后补上的附属品;它是一个产品。每个条目都带有原因和优先级,复核者看到高亮标出框的页面,因此确认一个数值只需几秒。每个决定都与页面、框、两次读数以及复核者一起存储,这正是 BCBS 239 所要求的 lineage。
成本是真实的:更多的模型调用、更多的代码,以及一个负责复核队列的团队。对于错误数字会动到钱的文件,我认为这是正确的取舍。
电子表格值得拥有自己的路径
不要将电子表格送入 PDF 流水线。将工作簿转换为图像会丢弃它唯一的优势:数值本身已经是数据。
如果电子表格遵循固定模板——许多借款人报告包和监管模板正是如此——则在运行时完全跳过 AI。使用模型(或分析师)一次性提出单元格映射,审查它、对其版本化,然后让代码每次都读取它:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
from openpyxl import load_workbook
CELL_MAP = { # proposed once, reviewed, versioned with the template "revenue": "P&L!D12", "ebitda": "P&L!D18", "net_debt": "Balance!F40", }
def read_template(path: str) -> dict[str, tuple[float | None, str]]: """Return each metric with its value and Sheet!Cell provenance.""" wb = load_workbook(path, data_only=True) out = {} for metric, ref in CELL_MAP.items(): sheet, cell = ref.split("!") out[metric] = (wb[sheet][cell].value, ref) return out
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
from openpyxl import load_workbook
CELL_MAP = { # proposed once, reviewed, versioned with the template "revenue": "P&L!D12", "ebitda": "P&L!D18", "net_debt": "Balance!F40", }
def read_template(path: str) -> dict[str, tuple[float | None, str]]: """Return each metric with its value and Sheet!Cell provenance.""" wb = load_workbook(path, data_only=True) out = {} for metric, ref in CELL_MAP.items(): sheet, cell = ref.split("!") out[metric] = (wb[sheet][cell].value, ref) return out
需要注意一点:data_only=True 返回的是 Excel 在文件最后一次保存时缓存的值。16 一个由脚本生成、从未在 Excel 中打开过的工作簿没有缓存值,因此公式会返回 None。要把 None 视为“未计算”,绝不要当作零。
如果电子表格是自由格式的,就在代码中检测表格(标题行、合并的表头、一个工作表中的多个表格),并使用原型 A 的 SQL 路径来回答问题,或者让模型针对每种版式将检测到的表格映射到你的 schema 一次。无论哪种方式,每个值都会保留一个 Sheet!Cell 引用,这相当于电子表格中的页码和方框。
## 衡量质量
不进行衡量,你就无法选择原型、模型或阈值。而没有黄金集,你就无法衡量:几十份有代表性的文档(数字版、扫描版、幻灯片),其数值已由人工确认。绝不要使用模型自身的输出作为黄金集,即使“快速检查之后”也不行。

按指标、期间和范围将预测与黄金集匹配,并在较小的容差内比较数值。然后跟踪:
- 错误自动批准。系统未经审核就批准的错误数值。这是银行真正的风险指标,目标是零。
- 召回率。找到的黄金值所占比例。
- 审核负担。发送给人工审核的数值占比。这是你的运营成本。
- 稳定性。LLM 不是确定性的,即使在温度为零时也是如此。对每种配置运行多次并比较输出。
- 成本。每份文档的调用次数、token 数和实际耗时。
一个最小化的测试框架只需几行代码:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 from typing import NamedTuple
class Key(NamedTuple): doc: str metric: str period: str
def close(a: float, b: float, rel: float = 0.005) -> bool: return abs(a - b) <= rel * max(1.0, abs(b))
def score(pred: dict[Key, tuple[float, bool]], gold: dict[Key, float]) -> dict[str, float]: """pred maps each key to (value, auto_approved).""" found = [k for k in gold if k in pred and close(pred[k][0], gold[k])] auto = [k for k, (_, approved) in pred.items() if approved]
an auto-approved key that is not in a complete gold set is also wrong
wrong = [k for k in auto if k not in gold or not close(pred[k][0], gold[k])] return { "recall": len(found) / len(gold), "wrong_auto_approvals": len(wrong), "review_load": 1 - len(auto) / max(len(pred), 1), }
文章标题:用 AI 阅读财务文档
正文: def stability(run_a: set[tuple[Key, float]], run_b: set[tuple[Key, float]]) -> float: """两次运行 (key, value) 对的 Jaccard 相似度。""" return len(run_a & run_b) / max(len(run_a | run_b), 1)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
from typing import NamedTuple
class Key(NamedTuple): doc: str metric: str period: str
def close(a: float, b: float, rel: float = 0.005) -> bool: return abs(a - b) <= rel * max(1.0, abs(b))
def score(pred: dict[Key, tuple[float, bool]], gold: dict[Key, float]) -> dict[str, float]: """pred 将每个 key 映射到 (value, auto_approved)。""" found = [k for k in gold if k in pred and close(pred[k][0], gold[k])] auto = [k for k, (_, approved) in pred.items() if approved]
一个不在完整 gold 集里的自动批准 key 也是错的
wrong = [k for k in auto if k not in gold or not close(pred[k][0], gold[k])] return { "recall": len(found) / len(gold), "wrong_auto_approvals": len(wrong), "review_load": 1 - len(auto) / max(len(pred), 1), }
def stability(run_a: set[tuple[Key, float]], run_b: set[tuple[Key, float]]) -> float: """两次运行 (key, value) 对的 Jaccard 相似度。""" return len(run_a & run_b) / max(len(run_a | run_b), 1)
也用这个 harness 做消融实验。关掉 cross-read,或者降低渲染分辨率,看看哪个指标会动。如果去掉一层什么也没变,那就是只有成本没有收益。如果它改变了错误自动批准,你就找到了一层关键层。
应该选哪种原型?
从系统必须对文档做什么出发,而不是从技术出发。
来自经验的几条粗略规则:
- 跨许多文档提问:原型 A。先投资来源元数据和混合检索,再投资更大的模型。
- 数字 PDF 中一份简短、固定的数字列表,反正审阅者也会看:原型 B。这是每次模型调用性价比最高的做法。
- 每页许多数值、长报告、扫描件,或者要喂给信贷和风险决策的数值:原型 C。为证明付费。
- 模板:运行时不用 AI。cell map 更快、更便宜,而且天生可审计。
上线前,对照这份清单检查流水线:
- 每个存储的值都有来源:文档、页面和框(或 Sheet!Cell)。
- 模型按印刷原样读取数值;符号、量级和单位在代码中应用。
- 每个派生数字(比率、利润率、合计)都在代码中计算。
- 系统失效关闭:错误或跳过的检查都路由到人工审核。
- 错误自动批准在人工确认的 gold 集上度量,阈值由该度量设定。
- 模型和 prompt 版本随每个值一起存储,以便结果可复现。
- 模型风险和数据治理团队在上线前就看过设计,而不是上线后。
结论
多模态 LLM 把财务文档阅读从一个研究问题变成了一次 API 调用。这是好消息,也是一个陷阱:它让人很容易搭出一条演示时惊艳、生产中却无人负责的流水线。
以下是本文的 5 条核心经验:
- 在选择任何工具之前,先决定你是检索还是抽取。它们是不同的产品,有不同的失败模式。
- 永远不要存储一个你指不出位置上的数字。一句引用很好;一个页面加一个框更好。
- 让模型负责阅读,让代码负责决策。grounding、算术、规则和路由都应该放在你能测试的确定性代码里。
文章标题:用 AI 阅读财务文档
正文:
- 失效关闭,并把审核队列设计为产品的一部分。人是系统的一层,而不是逃生出口。
- 衡量错误的自动批准,而不是准确率。在金融领域,代价高昂的错误是那个自信的错误。
模型会不断变得更好。然而,证明数字来源的需求短期内不会消失。
脚注
- Artifex,PyMuPDF 文档。 ↩ ↩2
- Amazon Web Services,什么是 Amazon Textract?。 ↩
- Google Cloud,Document AI 概览。 ↩
- Yiheng Xu 等,LayoutLM:为文档图像理解预训练文本和布局(KDD,2020)。 ↩
- Yupan Huang 等,LayoutLMv3:通过统一文本和图像掩码为 Document AI 预训练(ACM Multimedia,2022)。 ↩
- Christoph Auer 等,Docling 技术报告(arXiv,2024)。 ↩
- Patrick Lewis 等,面向知识密集型 NLP 任务的检索增强生成(NeurIPS,2020)。 ↩
- 巴塞尔银行监管委员会,有效风险数据聚合和风险报告原则(BCBS 239)(BIS,2013)。 ↩
- 美国联邦储备系统理事会,SR 11-7:模型风险管理指南(2011)。 ↩
- 欧盟,法规 (EU) 2024/1689(人工智能法案),附件 III(2024)。 ↩
- Manuel Faysse 等,ColPali:使用视觉语言模型进行高效文档检索(arXiv,2024)。 ↩
- Google,结构化输出,Gemini API 文档。 ↩
- Pydantic,Pydantic Validation 文档。 ↩
- Nelson F. Liu 等,迷失在中间:语言模型如何使用长上下文(TACL,2024)。 ↩
- Google,图像理解:对象检测,Gemini API 文档。 ↩
- openpyxl,openpyxl 文档。 ↩