Newshot

GitHub Copilot Evals 现已进入公开预览

AI summary

你现在可以用 GitHub Copilot Evals 为自己优化 GitHub Copilot。Evals 是可重复的 AI 行为测试:给智能体一个真实任务,描述什么算好结果,再检查结果以及智能体是如何得到该结果的;在改动技能、智能体或 MCP 后重跑同一 eval,即可检查你关心的行为并发现回归。你可以在项目里用自然语言或 /eval 命令,为技能、自定义智能体或 MCP 工具创建 eval 并运行查看检查结果。

Translation(model translation, not the source's own text)
GitHub Copilot Evals 图标,旁边是 skills、MCP servers 和 agents 的 eval 结果,包含通过项和失败项。一个放大镜突出显示了一次失败的 skill 运行,其步骤展示了失败的工具结果,以及预期证据与实际观察到的证据。
GitHub Copilot Evals 图标,旁边是 skills、MCP servers 和 agents 的 eval 结果,包含通过项和失败项。一个放大镜突出显示了一次失败的 skill 运行,其步骤展示了失败的工具结果,以及预期证据与实际观察到的证据。

你现在可以使用 GitHub Copilot Evals 为自己优化 GitHub Copilot。当你的提示词、模型、skills 和工具发生变化时,你还能从 Copilot 获得最大收益吗?Evals 可帮助你针对自己配置中的 skills、agents 和 MCP 工具回答这个问题。创建一个 eval,检查它们的行为表现,并利用结果决定要改进什么。

什么是 eval?

eval 是针对 AI 行为的可重复测试。你给 agent 一个真实任务,描述什么样的结果算是好结果,并同时检查结果以及 agent 是如何得到该结果的。

AI 输出可能每次运行都不同,所以一次良好的回答并不能告诉你某项自定义配置是否适合你。在更改 Copilot 配置中的 skill、agent 或 MCP 后,重新运行同一个 eval,以检查你关心的行为并捕获回归。

你可以做什么

用你自己的话向 Copilot 提问,或使用 /eval 命令来:

  • 为项目中的 skill、自定义 agent 或 MCP 工具创建一个 eval。
  • 运行它,查看哪些检查通过、哪些失败。每次运行开始前都由你批准。
  • 查明某项检查失败的原因,并决定要在 Copilot 配置中更改什么。
  • 比较某项自定义更改前后的运行结果,看看它是否有帮助。

GitHub Copilot Evals 使用 Vally(一个可扩展的本地 eval 工具)作为其评估引擎。

开始使用

在现有使用 Copilot 的环境中安装 GitHub Copilot Evals:

  • Visual Studio Code:从 Visual Studio Marketplace 安装 GitHub Copilot Evals 扩展。
  • Copilot CLI:按照安装说明安装 GitHub Copilot Evals 插件。
  • GitHub Copilot 应用:打开 Customize,添加 github/evals marketplace,然后安装 GitHub Copilot Evals 插件。

GitHub Copilot Evals 面向 Copilot Individual、Copilot Business 和 Copilot Enterprise 计划处于公开预览阶段。

要了解更多信息,请参阅 GitHub Copilot Evals 文档。通过提交 issue 或在 GitHub Community 中加入讨论来分享反馈。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by GitHub Changelog
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗