Artificial Intelligence
宣布推出 Amazon Textract Insights:面向文档的可验证生成式 AI
金融服务业、保险业、医疗健康业以及公共部门中的各类组织都依赖文档处理。它们将扫描文件和纸质表单转换为系统可操作的结构化数据。随着生成式 AI 的成熟,这些组织想要的不只是准确的文本提取。他们希望用自己的话描述所需的信息,并从复杂文档中获得可靠、可审计的答案。
今天,我们宣布 Amazon Textract Insights 正式可用。这是 Amazon Textract 的一项全新生成式 AI 功能,通过 Amazon Textract 中的一个新 API 提供。借助 Amazon Textract Insights,你可以用自然语言描述所需字段,并提交一份文档或一份混合的多文档包。你会收到结构化结果,其中每个值都带有置信度分数和页面级溯源,且无需任何模型训练。
从混合文档包中提取数据的挑战
许多高价值的文档工作负载涉及的并非干净、单一用途的文件,而是多样化的混合文档包。例如,一份抵押贷款文件通常以单次扫描的形式到达,其中包含 W-2 表、工资单、银行对账单以及一页手写笔记。每份材料都有各自的版式,且出现顺序并不固定。理赔文件和入职材料包也可能非常相似:打印表单、密集表格、扫描收据和自由文本信函交错在同一个文件中。
团队通常采用两种方法之一,而每种方法都有取舍。第一种是自定义流水线,将光学字符识别、文档拆分、分类、基础模型提示以及审核步骤组合在一起。团队必须自行集成、扩展并运维整套流程。第二种是默认使用通用大语言模型。它能给出流畅的答案,但无法可靠地引用来源页面,也无法给出置信度分数。没有可追溯的来源和经过校准的分数,就很难判断哪些值可以自动接受、哪些需要人工审核。这种不确定性常常限制了团队自动化的推进程度。
Amazon Textract Insights 专为可靠的文档处理而构建,将整个工作流整合为 Amazon Textract 上的单次异步请求。你的团队无需组装和运维自定义流水线,而是通过一个托管 API 完成工作,直接获取所需的数据。
Amazon Textract Insights 的工作原理
借助 Amazon Textract Insights,你在 blueprint 中定义要提取的内容。blueprint 是一个 JSON Schema,其中每个字段都带有一段自然语言描述,说明要查找什么。每个字段还有一个推理类型,用于决定该值是从页面上逐字读取,还是根据文档内容推断得出。你可以从 AWS 公共 blueprint 开始,覆盖常见文档类型,例如 W-2 表、Form 1040、Form 1098、护照或出生证明。你也可以针对自身业务特有的文档自行编写 blueprint。
对于混合文档包,你将预期出现的每种文档类型的 blueprint 添加到同一个项目中。然后,你从自己的 Amazon Simple Storage Service(Amazon S3)存储桶提交一个最大 3,000 页的单一文件,并启用拆分功能。Amazon Textract Insights 会将文档包拆分为逻辑子文档,将每个子文档匹配到适合它的 blueprint,提取所请求的字段,并为每个值返回置信度分数和溯源信息。
例如,假设您收到一份 26 页的 PDF 抵押贷款申请,其中包含 W-2 表格、工资单、银行对账单以及信贷员的手写笔记。您使用 AWS 公共的 W-2、工资单和银行对账单蓝图创建一个 Amazon Textract Insights 项目,为信贷员笔记添加自定义蓝图,并启用拆分功能。然后,您通过一次 StartDocumentInsights 调用从 Amazon S3 存储桶提交该文件。Amazon Textract Insights 将文件拆分为各个独立文档,将每个文档与其蓝图匹配,并将结果写入您的 S3 存储桶。每个值都包含置信度分数以及其提取来源的页码和边界框。
面向可审计自动化的置信度与溯源
Amazon Textract Insights 返回两类字段:第一类是直接从页面上读取的显式字段。第二类是根据文档内容推导出的推断字段。两者都会返回置信度分数以及标识值来源页码和坐标的溯源信息。
由于每个值都可追溯到其来源,审核人员或审计人员可以对照原始文档确认任何结果。您可以将自动化扩展到以前需要人工审核的文档,同时在需要判断的环节保留人工参与。
“我们评估了 Amazon Textract Insights,对其潜力感到兴奋。我们的医疗账单和表格来自各种不同的来源,格式和布局往往各不相同。因此,为某一来源开发的提取规则并不总能有效地迁移到另一来源。借助 Amazon Textract Insights,我们可以用自然语言描述所需的字段,服务会识别并提取相应的数据。每个提取的值都会返回置信度分数,使我们的团队能够只将审核精力集中在服务置信度较低的字段上。我们还期待探索文档拆分功能,它可以帮助将多文档文件自动分离为单个文档,进一步简化我们的文档处理工作流。” — Vijay Agrawal,信息系统副总裁,Symbeo,A CorVel Company
“我们评估了 Amazon Textract Insights,对其潜力感到兴奋。我们的医疗账单和表格来自各种不同的来源,格式和布局往往各不相同。因此,为某一来源开发的提取规则并不总能有效地迁移到另一来源。
借助 Amazon Textract Insights,我们可以用自然语言描述所需的字段,服务会识别并提取相应的数据。每个提取的值都会返回置信度分数,使我们的团队能够只将审核精力集中在服务置信度较低的字段上。我们还期待探索文档拆分功能,它可以帮助将多文档文件自动分离为单个文档,进一步简化我们的文档处理工作流。”
— Vijay Agrawal,信息系统副总裁,Symbeo,A CorVel Company
构建于 Amazon Textract 引擎之上
我们更新了 Amazon Textract 的读取引擎 Amazon Textract Core,提升了准确性,加强了对密集表格和手写内容的处理能力,并将 DetectDocumentText 和 AnalyzeDocument API 的语言覆盖范围扩展到 40 种语言。所有这些优势现已可供 Amazon Textract 客户使用,无需任何更改。您的 Amazon Textract API 保持不变。
Amazon Textract Core 现已在另外两个 AWS 区域正式可用,即亚太地区(东京)和欧洲(苏黎世),使区域内处理总数达到 18 个 AWS 区域。Amazon Textract Insights 尚未在这些 AWS 区域提供。
安全与数据处理
项目与蓝图
文章标题:Announcing Amazon Textract Insights: Verifiable generative AI for documents
正文: Amazon Textract Insights 使用 AWS 自有密钥对项目和蓝图进行静态加密。如需使用您自己的 AWS Key Management Service(AWS KMS)客户管理密钥,请在调用 CreateProject 或 CreateBlueprint 时于 EncryptionConfiguration 中指定该密钥。
Insight 分析任务
Amazon Textract Insights 从您在 StartDocumentInsights 请求中指定的 Amazon S3 存储桶读取文档,并将结果写入其中。任务中间数据使用 AWS 自有密钥进行静态加密。如果您在请求的 EncryptionConfiguration 中指定了客户管理密钥,Amazon Textract Insights 将使用该密钥加密任务的中间数据。所有中间数据都是临时的,任务完成后即被删除。任务完成后写入您存储桶的结果,适用您输出存储桶的默认加密设置。项目的密钥不适用于其任务。
如果您禁用了自己的密钥,或移除了 Amazon Textract 对该密钥的访问权限,Amazon Textract Insights 将无法再使用以该密钥加密的数据。
跨区域推理
Amazon Textract Insights 会自动选择您所在地理区域内最优的 AWS 区域来处理推理请求。这可最大化可用计算资源和模型可用性,旨在提供一致的客户体验。所有数据均通过 Amazon 的安全网络加密传输。Amazon Textract Insights 会将您的推理请求安全地路由到请求发起地理区域内的可用计算资源。例如,源自美国的推理请求会在美国境内处理。Amazon Textract Core API 保持不变,仍会在您调用的 AWS 区域处理请求。有关目标 AWS 区域的列表,请参阅 Amazon Textract 文档指南。
入门
开始使用 Amazon Textract Insights 需要四个步骤。
定义您的需求:从 AWS 公共蓝图开始,或用自然语言描述您自己的字段。
创建项目:将您的蓝图添加到项目中。
提交文档:通过一次 API 调用,从您的 Amazon S3 存储桶发送单个文档或混合文档包。
查看结果:接受达到您置信度阈值的值,并将其余的值转交审核。请根据您自己文档的代表性样本调整阈值。
Amazon Textract Insights 支持 PDF、PNG、JPEG 和 TIFF 输入,可处理英语、法语、德语、意大利语、葡萄牙语和西班牙语文档。它按页计费而非按 token 计费,且无最低承诺用量。有关 Amazon Textract 各项服务的当前费率,请参阅 Amazon Textract 定价页面。
结论
智能文档处理长期以来一直迫使人们在自动化程度与结果可审计程度之间做出取舍。Amazon Textract Insights 缩小了这一取舍,使您的团队能够基于证据而非猜测来决定在何处实现自动化。进一步了解如何开始使用 Amazon Textract Insights。
访问 Amazon Textract 产品页面。
参阅 Amazon Textract 开发人员指南,编写蓝图或从 AWS 蓝图开始。
注册参加 re:Invent 上的“Accelerate intelligent document processing with Amazon Textract”会议。