Newshot

Amazon SageMaker 推出 AI 数据准备能力:为模型开发工作流构建高质量数据集

AI summary

将生成式 AI 投入生产的团队深知,模型的表现上限取决于数据,因此准备高质量的训练与评估数据是首要任务;微调开放权重模型、运行强化学习或构建评估套件,都依赖准确、标注良好且能代表任务的数据。对于狭窄且定义明确的任务,用干净的任务特定数据定制的小模型,往往能以更低的单次推理成本达到甚至超过经过提示调优的大型通用模型的准确率;但实践中,数据准备常常是项目中最慢的环节:标注样本稀缺或昂贵,隐私规则限制可用数据,重复、标签噪声和答案泄漏等问题往往直到训练结果令人失望才被发现,而且每种训练技术都要求各自的数据格式。结果,数据科学家花数周时间处理数据,而不是构建模型。今天,我们……

Translation(model translation, not the source's own text)

宣布 Amazon SageMaker 中的 AI 数据准备能力:为模型开发工作流构建高质量数据集

将生成式 AI 推向生产环境的团队都清楚,模型的上限取决于数据。这正是为什么准备高质量的训练和评估数据要放在第一位。微调开放权重模型、运行强化学习,或构建评估套件,都依赖于准确、标注良好且能代表你的任务的数据。对于范围狭窄、定义明确的任务,一个用干净、任务特定数据定制的小模型,往往能以更低的单次推理成本,达到甚至超过一个被提示调教出来的大型通用模型的准确率。

然而在实践中,准备这些数据往往是项目中最慢的一环。带标注的样本稀缺或昂贵,隐私规则又限制了你可用的数据。重复、标签噪声、答案泄漏等质量问题,往往要等到某次训练结果令人失望时才被发现,而每种训练技术又都期望数据符合自己的格式。结果是,数据科学家把数周时间花在整理数据上,而不是构建模型。

今天,我们为 Amazon SageMaker AI 扩展了新的 AI 数据准备能力,面向模型开发工作流。你可以生成合成样本、评估并改进现有数据集,并通过 Python SDK API 和 AWS AI-ML agent skill 把专家反馈引入流程。你在自己的 notebook 或 IDE 中工作,规格说明和代码都可检查、可修改。

无需手工搭建流水线即可准备数据

借助 AI 数据准备能力,你无需再拼凑标注工具、生成脚本和校验作业。每项能力都是一个独立构建块。你可以单独使用其中一项,也可以按你需要的工作流把它们串联起来。

  • 自动标注:从无标注数据集、小型带标注种子集,或完全没有任何标签出发,大规模地标注数据。内置任务类型包括分类、命名实体识别、抽取式问答、序数评分和摘要,你也可以定义自定义任务。你用一份简短的标注规格描述任务,该规格会先在你自己的样例上校验,然后再标注整个数据集。对于可能答案固定的一组任务,例如分类、命名实体识别和抽取式问答,由多个模型组成的评审团对每一行进行标注,它们的一致程度就成为该行的置信度分数。
  • 人工审核:低于你置信度阈值的行会进入 Amazon SageMaker Studio 中的审核队列,该队列使用开源 Label Studio Community Edition。外部领域专家可以通过 SageMaker Studio 中合作伙伴应用框里的链接访问审核应用。审核者的修正会反馈到自动标注中,你还可以生成共识指标和标注报告。
  • 合成数据生成:根据规格生成训练、评估和测试数据。你可以让自己的种子数据和文档作为输出的依据,服务会生成一个基于代码的数据生成流水线,你可以审查、修改、复用并扩展它。
  • 数据质量评估:按照你自己的业务规则、内置指标和 LLM-as-a-judge 指标检查数据集。发现重复和近似重复,并暴露你没想到要检查的问题,例如标签噪声或答案泄漏。
  • 数据转换:为目标训练技术清理并重塑数据。用自然语言描述变更并让人为你生成代码,使用去重、合并、拆分和过滤等内置操作,或大规模运行你自己的 Python。

Amazon SageMaker 推出 AI 数据准备能力:为模型开发工作流构建高质量数据集

你可以在自己已经使用的工作环境中工作。直接使用 SageMaker Python SDK,或者把代理工具包中的 AI-ML skill 提供给你的编码代理,让你的代理按照既定的数据科学最佳实践调用这些 API。描述你的需求,代理就会在 SageMaker Studio JupyterLab、Kiro,或你选择搭配编码助手的本地 IDE 中选择并运行合适的能力。

对于构建专用模型的团队来说,最难的部分往往是为特定任务找到足够的数据。Cisco 旗下的 Splunk 在为其 Agent Observability 产品构建评估模型时,就遇到了这个问题。

“对于 Splunk Agent Observability,我们训练稳健的 GenAI Eval 模型的能力依赖于获取高质量、多样化的数据集,而这些数据集很难针对非常具体的任务进行整理。Amazon SageMaker AI 用于合成数据生成的数据准备能力正在切实帮助我们扩展这些能力。我们能够可靠且快速地生成具有统计代表性的合成数据集,同时保留模型所依赖的底层模式。与 SageMaker 工作流其余部分的无缝集成意味着,我们的数据科学家和客户花在整理数据上的时间更少,花在构建模型上的时间更多,从而通过 Splunk 驱动真正的企业价值。” — Yash Sheth,Splunk Agent Observability 工程总监

“对于 Splunk Agent Observability,我们训练稳健的 GenAI Eval 模型的能力依赖于获取高质量、多样化的数据集,而这些数据集很难针对非常具体的任务进行整理。Amazon SageMaker AI 用于合成数据生成的数据准备能力正在切实帮助我们扩展这些能力。我们能够可靠且快速地生成具有统计代表性的合成数据集,同时保留模型所依赖的底层模式。与 SageMaker 工作流其余部分的无缝集成意味着,我们的数据科学家和客户花在整理数据上的时间更少,花在构建模型上的时间更多,从而通过 Splunk 驱动真正的企业价值。”

— Yash Sheth,Splunk Agent Observability 工程总监

从原始数据到训练,串联各项能力

当你组合这些能力时,价值会增长。一些常见模式:

构建黄金评估数据集:基于少量种子集自动标注原始数据。高置信度的行会被自动接受,低置信度的行会交给人工审核。他们的修正会改进下一轮标注,从而得到一个可信、经人工验证的数据集,用来对你的模型进行基准测试。

在一个工作流中从原始文档走到训练好的模型:

  • 生成数据:合成数据生成会基于你的文档和种子数据创建特定任务的示例。
  • 转换数据:数据转换会将数据重塑为你的训练技术所期望的格式,例如监督微调(SFT)、直接偏好优化(DPO)或强化学习(RL)。
  • 验证数据:数据质量评估会在你把算力投入训练之前,检查数据集是否存在重复、泄漏和违反规则的问题。
  • 训练:使用 SageMaker AI 模型定制进行训练。

工作原理

设想一个团队正在准备数据,以评估代理式客户支持助手。其产品指南说明,恢复出厂设置会清除已保存的设置。该团队想测试助手在回答有关重置的问题时是否会保留这一警告。

准备流程的一轮处理如下:

  • 定义需求:将产品指南作为上下文提供,并描述你所需的问题和参考答案。包含这样的要求:关于恢复出厂设置的回答要保留有关已保存设置的警告。审查由你的编码代理生成的规范。
  • 生成并检查样本:生成一小批数据,并根据指南检查记录。查看生成过程并检查代码。确认示例覆盖了预期的问题,并且参考答案遵循源材料。
  • 评估与审查:运行数据质量评估并检查记录级别的发现。请主题专家审查模糊的答案或有争议的评估。使用结果和标注来请求改进建议。
  • 应用更改并重复:如果需求需要澄清,则修订规范;或转换数据集以解决重复等问题。在需要时生成额外示例,然后在用于评估助手之前重新评估修订后的数据集。

这个示例工作流说明了这些功能如何协同工作。

保持对准备工作和数据的控制

借助 AI-ML 技能,您可以用自然语言描述任务,而您的编码代理会帮助构建规范、准备代码并协调数据准备步骤。您可以打开这些工件来查看工作流的配置方式,并直接进行更改。

如果您更喜欢自己调用 API,请使用 Python SDK API 从您自己的代码中调用各个功能。SDK API 将规范作为输入,因此我们建议在代理的帮助下创建它。您可以将质量评估添加到现有流程中,为新任务生成数据,或组合多个操作。您可以选择项目所需的准备步骤,以及它们如何融入您的模型定制和评估流程。

AI 数据准备使用您控制的 AWS Identity and Access Management (IAM) 执行角色运行。您的源数据、生成的数据集和标签保留在您自己的 Amazon Simple Storage Service (Amazon S3) 存储桶中,位于您选择的 AWS 区域。

立即开始

AI 数据准备功能已在 US East (N. Virginia) 和 US West (Oregon) 区域正式可用。

有两种开始方式:

  • 使用您的编码代理 – 在支持的笔记本或 IDE 中设置数据准备技能。描述一个训练或评估任务,并在生成样本之前查看生成的规范。
  • 使用 Python – 直接使用 SageMaker Python SDK 从您自己的代码中运行各个数据准备功能。SDK 将规范作为输入,因此我们建议先使用 AI-ML 技能创建规范,然后在工作流中使用 SDK 运行它们。

有关更多信息,请参阅 Amazon SageMaker AI 文档。

关于作者

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by AWS Machine Learning
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗