11 月 16 日 Copilot 三款模型下线,11 月 17 日 Copilot Evals 进入公开预览。这篇教程给一套可照做的验收流程:盘点写死模型名的地方、建样本集、写判据、跑基线、双跑对比、归因失败,最后挂成变更门禁。
编码助手换模型怎么验收:从基线到弃用期的八步
这篇教程解决什么
厂商下线模型这件事,现在是常态而不是意外。2026 年 11 月 16 日,GitHub 在官方 changelog 写明三款模型已在多数 Copilot 体验中下线,并给了建议替代;同一周 11 月 17 日,GitHub Copilot Evals 进入公开预览,官方对它的定义是「a repeatable test for AI behavior」——给智能体一个真实任务、描述什么算好结果,然后同时检查结果和达成路径。
这两条放在一起,正好凑成一套可执行的流程:一边是不得不换,一边是终于有办法证明换完没退化。本篇要解决的问题就是——当模型被下线、或者你自己想换一个更合适的,怎么用可重复的方式证明「我的流程没变差」,而不是靠几个人试几下手感。
读完你会得到:一张受影响清单、一份能用两周的样本集、一套能判定通过与否的判据、一份基线记录,以及一条把评测挂在变更前面的门禁规则。
先说清不覆盖什么。本篇不涉及团队级 CI 集成与私有模型托管,也不比较各模型的能力高下——本站不跑通用基准,模型强弱请按自己的任务集判断。另外,官方把 Copilot Evals 标为公开预览,功能面与入口可能变动,界面路径一律以官网当前版本为准。
开始前的准备
四项准备,缺一项后面就会返工。
一、确认自己受不受影响。 官方这次下线影响「多数 GitHub Copilot 体验」,包括 Copilot Chat、内联编辑、ask 与 agent 模式、代码补全。替代建议是:Claude Opus 4.8 与 Claude Opus 5 改用 Claude Opus 5.5;GPT-5.6 Terra 改用 GPT-6.1 Sol 或 GPT-6 Luna。两条例外要单独记:Claude Opus 4.8 对个人订阅中的年度方案用户仍可用;Claude Opus 5 虽已从模型选择器移除,但仍通过既有授权访问用于运行时拒绝回退。
二、确认自己的方案范围。 官方写 Copilot Evals 在公开预览阶段对 Copilot Individual、Copilot Business 与 Copilot Enterprise 三类方案开放。企业侧还有一层前提:若管理员曾关闭全局默认或显式禁用过某模型,建议替代不会自动启用,需要到 Copilot 设置的模型策略里开启,启用后用户才会在支持的体验里看到它。
三、准备一个真实任务清单。 不要用「写个快排」这类题。样本要从你自己仓库里出:改一个已知的 bug、补一段缺失的测试、按日志定位一次失败、做一次跨文件重命名。数量上 12 到 20 条够用,关键是覆盖你日常真正在做的类型。
四、准备一处能跑评测的入口。 官方给了三条安装路径,选你已经在用的那个:VS Code 从 Visual Studio Marketplace 安装 GitHub Copilot Evals 扩展;Copilot CLI 按 github.com/github/evals 的安装说明装插件;Copilot app 打开 Customize,添加 github/evals 市场后安装。评测引擎是 Vally,官方描述为可扩展的本地评测工具。
步骤详解
第 1 步:盘点写死模型名的地方。 在仓库与配置里搜模型标识,重点四处:CI 工作流的配置文件、自写脚本里的模型参数、IDE 或插件的用户设置、自定义智能体与 MCP 配置里的模型字段。把它们记成一张表——谁、在哪、写的哪个模型、属不属于本次下线范围。看到什么算成功:你能指着这张表说出「这次下线会碰到我的哪几处调用」,而不是只知道「好像有影响」。
第 2 步:把样本集固化下来。 每条样本要带三样东西:起始的仓库状态(哪个提交、哪几个文件)、任务描述(一句话说清要它做什么)、期望产物的判定方式(改了哪个文件、测试是否通过、输出里必须出现什么)。仓库状态必须固定,否则前后两次跑的不是同一道题,对比就失效。看到什么算成功:把仓库重置到同一个提交后,任何人照着样本集都能复现同一次任务。
第 3 步:为每条样本写判据。 一条判据要能被一句话判真假,例如「这个函数在传入空数组时返回空列表且不抛异常」「改动只落在指定的两个文件内」「新加的测试在旧代码上必须失败」。同时写一条反向判据——不该发生的事,例如「不得改动迁移脚本」「不得删除既有测试」。看到什么算成功:把判据交给同事,他能在不看你的情况下判断某次输出是过还是不过。
第 4 步:装好评测入口。 按上面三条路径之一安装,然后在 Copilot 里用自然语言或斜杠 eval 命令创建一条评测,把样本与判据填进去。官方写每次运行前都要由你批准,这条对流程有好处:跑评测是有成本的,不该在保存文件时自动触发。看到什么算成功:能对着一条样本跑出「哪几项检查通过、哪几项失败」的结果页。
第 5 步:在原模型上跑基线,而且跑两轮。 这一步最容易被跳过。官方给的理由很直白:AI 输出每次都会变,一次答得好不能说明定制有效。所以基线要跑两轮,把两轮之间结论不一致的判据挑出来——那些是判据本身不稳,不是模型不稳。处理方式两种:收紧判据让它只判关键行为,或把它降级为观察项、不计入通过率。看到什么算成功:你有一份「稳定判据」与「观察项」分开的基线记录,而不是一个笼统的通过率。
第 6 步:在替代模型上跑同一份评测。 同一份样本、同一套判据、同一个仓库起始状态,只换模型。跑完把失败项逐条列出来——注意是列失败项,不是只看总数。看到什么算成功:每一条失败都能指到具体样本与具体判据,而不是「感觉不如原来」。
第 7 步:归因,把「模型变差」和「判据写错」分开。 失败项按三类归档:模型确实没做到(换模型后能力不匹配)、上下文没给到(该给的文件没进上下文、任务描述有歧义)、工具没调到(该用的命令、测试或 MCP 工具没被调用)。这三类的处置完全不同:第一类要么改任务拆分、要么换替代项;第二类改样本与描述;第三类查配置与权限。看到什么算成功:失败项里属于「判据写错」的比例在下降,说明你的评测本身在收敛。
第 8 步:灰度切换,然后把评测挂成门禁。 先在一个低风险仓库切换替代模型,设一个观察窗口,把这期间真实任务里出现的问题补进样本集;稳定后再推全量。门禁规则是:以后每次改技能、改自定义智能体、改 MCP 工具之前,先跑一遍这套评测,通过再进行改动。官方的表述也是这个意思——改了 skill、agent 或 MCP 之后,应重跑同一个 eval 来检验关心的行为、捕获回退。
常见坑与排错
把公开预览当正式可用。 官方写的是 is in public preview,方案范围只列 Individual、Business、Enterprise 三类。把它写成「所有 Copilot 用户默认可用」不符合官方口径,也别把它排进有硬性交付日期的验收项。
只跑一轮就下结论。 这是最常见的错。同一份输入跑两次结果不同,是这类系统的常态;一轮的通过率既可能是运气好,也可能是运气差。基线必须跑两轮,双跑也必须至少两轮。
判据写成主观偏好。 「代码更清晰」「方案更合理」这类判据无法判定,跑完只会得到一堆争论。改写成可观察的断言:改了哪几个文件、测试是否通过、是否新增依赖、是否触碰了不该碰的目录。
样本集只放简单题。 全是单文件小改,任何模型都能过,评测就失去了区分度。样本要按你真实工作的分布来:小改、跨文件重构、读日志定位、补测试,四类都要有。
忽略了企业模型策略。 官方写明建议替代在默认启用策略下会自动为 Business 与 Enterprise 客户启用,但前提是管理员没有关掉全局默认、也没有显式禁用过该模型。关过的话,替代模型不会自己出现,要去 Copilot 设置的模型策略里开。这一步漏掉,症状是「评测跑不起来,因为模型选择器里根本没有那个模型」。
把「从选择器移除」当成「不能调用」。 官方对 Claude Opus 5 的说明是:已从模型选择器移除,但仍通过既有授权访问用于运行时拒绝回退。这两件事不是一回事,别因为选择器里看不到就断言整条链路断了。
把「无需操作移除」读成「什么都不用做」。 官方那句指的是平台侧自动清理已下线模型;同一页开头明确要求「update your workflows and integrations to use supported models」。清理与改调用是两件事。
前后两次的仓库状态不一致。 中间合了别人的提交、或者本地有未提交改动,跑出来的差异就掺了别的东西。每次跑评测前,先确认仓库停在同一提交上。
进阶用法
把判据分两层。 必过项只放「错了就会出事」的行为,比如不得改动迁移脚本、不得删除测试;观察项放「希望更好」的行为,比如是否会主动补测试。必过项任何一条失败就拦,观察项只记录趋势。这样评测才不会被一堆软指标拖成摆设。
把弃用期做成日历。 这次下线的时间线是清楚的:2026 年 10 月 15 日预告,11 月 16 日生效。预告期才是建基线的窗口——等到生效那天再开始,你连「原来的表现」都测不到了。做法是把厂商的预告页加进例行巡检,看到预告就开始攒样本。
团队不用 Copilot 时,方法照样能用。 关键在于把「样本集 + 判据」当成资产,而不是把评测绑在某个产品上。任何能批量跑任务、能记录通过与失败的评测框架都可以承接;换工具时,样本与判据可以直接搬,前提是第 2 步里把仓库状态与判定方式写清楚了。
给失败记录留一个去处。 每次双跑之后,把失败项与归因写进同一个文档,按模型版本与日期归档。半年后回看,你会知道哪些问题反复出现在同一类任务上——那通常不是模型问题,是任务拆分或上下文供给的问题。
常见问题
这套方法一定要用 GitHub Copilot Evals 吗?
不一定。它解决的是「有一处能重复跑、能记录通过与失败」的问题,方法本身是通用的。用它的好处是入口就在你已经在用的编辑器或命令行里,安装路径官方给了三条。团队若有自己的评测框架,把第 2 步的样本集与第 3 步的判据搬过去即可,判据写法不变。
官方说无需操作,为什么还要改集成?
两句话说的是两件事。官方写「No action is required to remove the deprecated models」,指平台侧会自动把这些模型从可用清单里清掉;同一页开头写「Please update your workflows and integrations to use supported models」,指的是你自己写死模型名的地方要改。前者是清理,后者是改调用,只做前者会出现「配置里还指着一个已经下线的标识」。
评测通过就等于模型可以放心换吗?
不等于。评测通过只说明在你选的这批样本与判据上没出现回退,样本之外的行为它不覆盖。所以第 8 步要留观察窗口,用真实任务继续补样本。另外,公开预览阶段的评测能力本身也可能变,功能面以官网当前版本为准。
个人订阅能用吗?
按官方口径,公开预览对 Copilot Individual、Copilot Business 与 Copilot Enterprise 三类方案开放。个人订阅里另有一条与本次下线相关的例外:Claude Opus 4.8 对个人订阅中的年度方案用户仍可用。具体到你的账号是否已开通、额度如何计算,以官网当前说明为准。
已经错过预告期、模型下线了怎么办?
先做第 1 步和第 5 步的替换版:盘点受影响处,把集成改到官方建议的替代模型,然后用替代模型跑两轮评测,把结果当作新基线。虽然拿不到旧模型的对照数据,但至少能建立「现在这个状态是否稳定」的记录,下一次预告来时就有得比了。若企业侧替代模型没自动启用,先去 Copilot 设置的模型策略里开启。
相关工具与内容
这条线的工具入口可看 GitHub Copilot、Claude Code、Codex 与 Cursor,形态差异比模型差异更影响日常手感;分类页见 AI 编程 与 AI 智能体。
事件脉络建议连着看本周两条快讯:Copilot 三款模型下线与迁移口径 与 GitHub Copilot Evals 进入公开预览,本篇是把这两件事接成一套流程。
方法上还可以接三篇:把 Claude API 升级到新版本 讲的是接口层面的破坏性变更与日常化治理,与本篇的质量验收是一前一后两道关;代码审查关卡怎么设 解决「AI 产出的代码怎么拦」,本篇解决「AI 的行为怎么验」;GitHub 智能体工作流护栏 给的是运行期的边界,三者叠加才构成一条完整的放行链条。
相关内容
VS Code 1.147 发布:智能体会话草稿与定时发送进入实验阶段
Microsoft 于 2026 年 11 月 18 日发布 Visual Studio Code 1.147.0。官方发行说明把更新重心放在智能体会话工作流:权限审查说明、自动化结束日期、聊天中的图片标注与远程环境分享为可用能力;浏览器操作、远程 HTML 预览为预览阶段;定时发送、会话草稿、模型路由与原生可视化仍在实验阶段并需手动开启。本文按官方标注分栏,不把实验能力写成正式可用。
GitHub Copilot Evals 进入公开预览:给技能、自定义智能体与 MCP 工具建立可重复的检查
GitHub 于 2026 年 11 月 17 日在官方 changelog 宣布 GitHub Copilot Evals 进入公开预览,页内标注 November 17, 2026。按官方说明,它用来给 Copilot 配置里的技能、自定义智能体与 MCP 工具建立可重复的测试:给智能体一个真实任务、描述什么样的结果算合格,然后检查结果与达成过程;每次运行前需由用户批准,评测引擎使用可扩展的本地工具 Vally。官方列出 Copilot Individual、Business 与 Enterprise 方案,并给出 VS Code 扩展、Copilot CLI 插件与 Copilot app 三条安装路径。同日其他 Copilot 公告中的对照数字与倍数一律不转述,价格与方案差异以官网为准。
GitHub Copilot 于 11 月 16 日下线三款模型:迁移口径与两条例外说明
GitHub 于 2026 年 11 月 16 日在官方 changelog 写明,三款模型已在多数 GitHub Copilot 体验中下线,涉及 Copilot Chat、内联编辑、提问与智能体模式以及代码补全。官方给出的替代指向是:Claude Opus 4.8 与 Claude Opus 5 建议改用 Claude Opus 5.5,GPT-5.6 Terra 建议改用 GPT-6.1 Sol 或 GPT-6 Luna。两条例外要单独看:Claude Opus 4.8 对个人订阅中的年度方案用户仍可用;Claude Opus 5 虽从模型选择器移除,但仍通过既有授权访问用于运行时拒绝回退。官方同时写明这批下线在 2026 年 10 月 15 日已预告过,本次是当日生效;替代模型在默认启用策略下对企业与商业版自动启用,管理员关掉全局默认或显式禁用过的情况除外。同日另有一条关于 12 月下线的预告,属将来安排,本文不记为已生效。
继续阅读:browser-use 1.0.7 发布:MCP 长调用不再 60 秒超时,先返回阶段结果 · Claude Code v2.1.330 发布:支持企业组织登录,内置图表 mod 并修复长会话卡顿