GitHub 于 2026 年 11 月 17 日在官方 changelog 宣布 GitHub Copilot Evals 进入公开预览,页内标注 November 17, 2026。按官方说明,它用来给 Copilot 配置里的技能、自定义智能体与 MCP 工具建立可重复的测试:给智能体一个真实任务、描述什么样的结果算合格,然后检查结果与达成过程;每次运行前需由用户批准,评测引擎使用可扩展的本地工具 Vally。官方列出 Copilot Individual、Business 与 Enterprise 方案,并给出 VS Code 扩展、Copilot CLI 插件与 Copilot app 三条安装路径。同日其他 Copilot 公告中的对照数字与倍数一律不转述,价格与方案差异以官网为准。
GitHub Copilot Evals 进入公开预览:给技能、自定义智能体与 MCP 工具建立可重复的检查
这次发布的是什么
GitHub 于 2026 年 11 月 17 日在官方 changelog 宣布 GitHub Copilot Evals 进入公开预览(页内 November 17, 2026)。按官方说明,它用来给 Copilot 配置里的技能、自定义智能体与 MCP 工具建立可重复的测试:给智能体一个真实任务、描述什么样的结果算合格,然后检查结果与达成过程。官方把它定位成回答「改动之后,Copilot 是否仍按预期工作」的工具,适用于 Copilot Individual、Business 与 Enterprise 方案。
需要先划清几条边界。其一,官方写的是 is in public preview,属公开预览,本文不写成正式可用。其二,同日 GitHub 在 Microsoft Ignite 期间还发了一批 Copilot 公告,包括两款 OpenAI 模型在 Copilot 中可用、MAI Code 2 上架、代码审查的自适应投入与密钥检测、以及 Copilot Fusion 的更新,那些是模型与功能侧的独立条目,本文不合并。其三,官方在这里说的检查通过或失败,是用户为某项行为设定的判据,不是模型榜单分数或名次,二者不是一回事。其四,同日其他 Copilot 公告中含早期测试的对照数字与倍数,按本站口径不转述;价格与方案差异以官网为准。
可用性与限制
- 记录时间:changelog 页内 November 17, 2026;官方 changelog RSS 条目时间 2026-11-17T18:00:33Z
- 阶段:官方写 is in public preview,属公开预览,本文不写成正式可用
- 方案范围:官方列出 Copilot Individual、Copilot Business 与 Copilot Enterprise 方案
- 安装入口:VS Code 的 Visual Studio Marketplace 扩展、Copilot CLI 插件、Copilot app 内 Customize 添加 github/evals 市场后安装
- 运行控制:官方写每次运行都要由用户在开始前批准
- 评测引擎:官方写使用 Vally 作为可扩展的本地评测工具
- 未核实项:完整支持的客户端清单、检查项类型、配额与价格,以官网为准
- 指标口径:同日 Copilot 其他公告含基准分数与倍数表述,按本站口径不转述
- 同日边界:与同日「GPT-6.2 在 Copilot 中可用」等条目为不同公告,本文不合并
主要功能
- 为项目里的技能、自定义智能体或 MCP 工具创建评测
- 运行评测并查看各项检查通过或失败
- 定位检查失败的原因并决定改哪处配置
- 对比定制改动前后两次运行的结果
- 用自己的话或斜杠 eval 命令发起
- 每次运行前由用户批准
- 在 VS Code、Copilot CLI 与 Copilot app 三处分别安装使用
- 通过官方文档与开源仓库提交反馈
技术原理
按官方 changelog,评测被定义为一次可重复的 AI 行为测试:给智能体一个真实任务,描述合格结果长什么样,然后同时检查结果与它达成结果的过程。官方给出的理由是 AI 输出在不同运行之间会变化,单次答得好并不能说明某项定制是否稳定;所以改动技能、智能体或 MCP 之后,应重跑同一份评测来看关心的行为有没有回退。这条思路的关键不在打分,而在同一份输入加同一组检查的可重复性。
实现上,官方写明 GitHub Copilot Evals 使用 Vally 作为评测引擎,并把它描述为可扩展的本地评测工具;用户可以用自然语言或斜杠 eval 命令创建评测、运行、查看通过与失败的检查、找出失败原因,并对比定制前后两次运行。每次运行前都需要用户批准,这一点把评测的触发权留在人手里。官方 changelog 没有展开检查项怎么定义、结果怎么存储、Vally 与 Copilot 之间如何连接等内部机制,本文不推断;要看配置项与扩展方式,以官方文档与开源仓库为准。需要留意的是,这里的检查通过与失败是用户为某项行为设定的判据,不是模型榜单分数,二者不是一回事。
实际体验
这里能核对的是 GitHub 官方 changelog 页与官方 RSS 条目,不是本站的实测结论。复核路径有三条:到 changelog 页看 November 17, 2026 的页内日期、public preview 的措辞与三处安装入口;到官方文档看配置方法;再到开源的 evals 仓库看引擎与反馈入口。三条都不需要付费账号就能核到公开说明。
实际使用时一个容易踩的坑,是把 public preview 当成正式可用。官方明确写的是公开预览,方案范围也只列了 Individual、Business 与 Enterprise 三类;把它写成所有 Copilot 用户默认可用并不符合官方口径。另一个坑是安装位置:官方按 VS Code 扩展、Copilot CLI 插件、Copilot app 的 Customize 三条路径分别给出做法,不是装一处就全端生效。
还有一处口径要留白:同日 GitHub 在 Microsoft Ignite 期间还发了一批 Copilot 公告,包括两款 OpenAI 模型在 Copilot 中可用、MAI Code 2 上架、代码审查的自适应投入与密钥检测、以及 Copilot Fusion 的更新;那些是模型与功能侧的独立条目,本文不合并。官方在这些页面里还写了早期测试中的对照数字与倍数,按本站口径不转述;价格与方案差异以官网为准。站内另有一篇 CrewAI 默认模型评测的稿子,那是不同厂商不同产品,别混为一谈。
项目地址与获取方式
官方入口是 GitHub 官方 changelog 的该条公告、GitHub Copilot Evals 的官方文档与 github/evals 开源仓库。按官方给出的三条安装路径:VS Code 从 Visual Studio Marketplace 安装对应扩展;Copilot CLI 按仓库的安装说明装插件;Copilot app 在 Customize 中添加 github/evals 市场并安装。反馈可通过仓库的 issue 或 GitHub Community 的相关讨论区提交。请通过官方渠道获取,避免安装被篡改的版本;可用方案、客户端范围、配额与价格一律以官网为准。
适合谁用
- 给 Copilot 写自定义技能、自定义智能体或 MCP 工具的开发者
- 需要在改动配置后检查行为是否回退的平台与工具链团队
- 负责评估编码助手输出稳定性的工程效率团队
- 想在本地扩展评测引擎、参与反馈的开源贡献者
- 只用 Copilot 默认对话、没有自定义技能的团队,这次的收益有限;另外期待它给出模型榜单式分数的读者会偏题,官方定义的是针对具体任务的可重复检查,价格与阶段也以官网为准
常见问题
Copilot Evals 现在正式可用了吗?
按官方措辞还不是。changelog 页写的是 is in public preview,中文通常说公开预览;官方同时只列出 Copilot Individual、Business 与 Enterprise 三个方案范围。本文按官方动词写「公开预览」,不替它标注 GA 或全面可用。预览阶段的功能与方案范围可能调整,后续阶段以官方公告为准,本文不预判时间。
它给模型打分或排名吗?
不是这个用途。官方把评测定义为一次可重复的 AI 行为测试:给智能体一个真实任务,描述合格结果,再检查结果与达成过程。检查通过与失败是用户为某项行为设定的判据,用来发现定制改动后的回退,不是跨模型的榜单分数或名次。想看模型能力对照的读者,应去看各模型的官方说明,而不是把它当作评分工具。
装了扩展就能在所有客户端使用吗?
按官方给出的做法要分别安装。changelog 列了三条路径:VS Code 从 Visual Studio Marketplace 装扩展;Copilot CLI 按仓库说明装插件;Copilot app 在 Customize 里添加 github/evals 市场再安装。官方没有写「装一处全端生效」,所以按三条路径分别核对更稳妥。完整客户端清单官方页未逐项展开,以官网为准。
这和同日其他 Copilot 公告是什么关系?
是同一天、不同事件的独立公告。官方 changelog 在 Microsoft Ignite 期间还发了两款 OpenAI 模型在 Copilot 中可用、MAI Code 2 上架、代码审查的自适应投入与密钥检测、Copilot Fusion 更新等条目;本条讲的是给自定义配置做可重复检查的工具。按「新模型、新产品、新接口才算独立事件」的口径,本条属新工具,单独成篇;模型上架那条已并入 GPT-6.2 专稿的可用性一节。
相关工具与内容
按方向浏览可进 AI 编程分类、AI 智能体分类 与 AI 工作助手分类。工具页可对照 GitHub Copilot、Claude Code、Cursor、Codex 与 Cline 在自定义能力上的差别。脉络上建议连着看 GitHub Copilot 评测、Copilot 模型下线说明、智能体工作流护栏、代码审查关卡怎么设、CrewAI 默认模型评测 与 Copilot 用量与技能 MCP,几篇分别对应工具评测、模型生命周期、护栏与审查流程这几条不同的读者线。
相关内容
AWS Quick 同日三组更新:插件打包智能体与技能,网页端与 Flows 打通跨端工作流
AWS 在 2026 年 11 月 20 日至 21 日连续发布三条 AWS Quick 更新:插件可把智能体、技能、连接器与流程打包成一次安装的单元;网页端把桌面体验搬进浏览器,并更新浏览器扩展与 Microsoft 365 加载项;Flows 支持用对话构建自动化,并加入确定性步骤与输出校验。官方用户指南说明 Quick 由 Amazon QuickSight 演进而来,原有 QuickSight 接口与集成继续可用。
Amazon Bedrock 网页搜索新增五种语言与国别字段:按用户所在国偏置检索来源
AWS 于 2026 年 11 月 21 日宣布 Amazon Bedrock 的 Web Search 工具新增西班牙语、法语、德语、意大利语和日语,并支持非美式英语;同时加入可选的国家字段,用 ISO 3166-1 alpha-2 代码把检索来源偏置到指定国家。现有客户无需改代码即可获得语言能力,可用区域与数据驻留口径以官网为准。
Transformers v5.24.0 发布:纳入十个新模型架构,缓存参数改名进入兼容期
Hugging Face 于 2026 年 11 月 21 日发布 Transformers v5.24.0,正式版标注为 prerelease=false。本次新增 Inkling 2 Mini、Apertus 1.5、Omnilingual ASR、HY4-VL 等十个模型架构支持,同时把 past_key_values 与 cache_params 统一改名为 cache,并给出跨版本的兼容时间表。
继续阅读:Claude Code v2.1.326:Code Mode 可与智能体团队同时开启,并收拢一批权限与会话修复 · Gemini Notebook 可把资料转成交互式站点:网页端当日起开放,移动端尚未上线