SageMaker 训练会话正式可用，后训练循环由你自己写

AWS 于 2026 年 10 月 22 日宣布 SageMaker AI 训练会话正式可用：你可以自己编写后训练循环与奖励函数，GPU 分配、分布式执行、故障恢复与检查点存储交给服务处理，首发支持四个开放权重模型。

这次发布的是什么

AWS 于 2026 年 10 月 22 日宣布，Amazon SageMaker AI 的无服务器模型定制能力扩展到训练会话，并正式可用。它的定位是：由你编写并编排后训练循环——自定义损失函数、奖励信号或多轮强化学习——而 GPU 分配、分布式执行、故障恢复与检查点存储交给 SageMaker 处理。

同时 AWS 提供了配套的 cookbook 与模型定制智能体技能，可以在 SageMaker Studio、Kiro、Claude Code、Codex 或 GitHub Copilot 里使用。

可用性与限制

• 形态：训练会话已正式可用，属于 SageMaker AI 无服务器模型定制能力的一部分。
• 训练方式：支持 SFT、DPO、RLVR、RLAIF 与多轮强化学习；可用 LoRA 或全参数微调，并通过连续定制把多种技术串起来。
• 首发模型：官方点名支持 gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B 与 Qwen3.8-27B。
• 环境：SageMaker Python 开发工具包支持 Linux 或 macOS，Python 3.10 至 3.12。
• 安全与数据：每次会话使用你创建的 IAM 执行角色，可加 KMS 密钥与 VPC 配置；数据与检查点落在你指定区域的 S3 桶里。AWS 声明不会用你的数据或定制后的权重训练其他模型。
• 计费：按 SageMaker 处理的 token 计费；奖励函数在自身环境打分期间计量暂停，且无需预留容量。具体费率以官网定价页为准。
• 运维：不选择实例类型、不管理集群、不写分布式训练配置。

主要功能

• 自己写训练循环与奖励函数，控制前向与反向传播、采样与优化器步进。
• 用采样器批量生成回复，再在自己的环境里打分。
• 把分数回传给训练器完成梯度计算与权重更新。
• 刷新采样器权重后进入下一批，循环直到训练结束。
• 用 GRPO 这类方法做多轮强化学习。
• 用 LoRA 或全参微调控制更新范围。
• 部署前评估准确性、偏见与安全性，部署后加护栏并用 CloudWatch 监控。

技术原理

一次训练会话把循环拆成两端：你的代码在自己的环境里跑训练逻辑与奖励函数，并连接智能体需要的工具或模拟器；会话侧承担 GPU 密集的工作——采样器负责生成回复，训练器负责计算梯度与更新权重。

以 GRPO 为例，一轮循环是四步：你的循环让采样器用当前模型为每个提示生成若干回复；你的奖励函数在自身环境里用验证器、奖励模型或测试套件给这些回复打分；你把分数回传给训练器，由前向反向计算梯度、优化器步进更新权重；最后请求会话用新权重刷新采样器，开始下一批。整个过程中，GPU 分配、分布式执行、故障恢复与检查点存储由服务侧负责。

实际体验

上手有两条路径：在自己熟悉的编辑器里装 SageMaker Python 开发工具包、克隆 cookbook 直接开发；或在 SageMaker Studio 里启动现成的开发环境，连上你常用的编码智能体，下载智能体技能与 cookbook 后开始。

要判断它是否划算，建议先用较小代价跑通一次 GRPO 循环，重点看三件事：检查点恢复是否可靠、奖励函数打分期间的等待是否被合理计量，以及模型规模与数据量在你的预算内能否跑完。这些都能在控制台的日志与检查点里直接观察到。

项目地址与获取方式

官方渠道：AWS 机器学习博客的公告文章与技术详解篇、SageMaker 官方文档中的训练会话章节与示例页，以及 GitHub 上的训练会话 cookbook。请通过官方渠道获取文档与开发工具包，避免从非官方镜像安装被篡改的版本。

适合谁用

• 需要自定义损失函数或奖励信号、现成托管方法不够用的算法团队。
• 做多轮强化学习、要给智能体接工具或模拟器的研究者。
• 不想管理 GPU 集群、但要求底层控制权的工程团队。
• 有明确数据驻留与密钥管理要求的合规团队。
• 不适合：标准微调就够用的场景，直接用托管的微调方式通常更省事。

常见问题

和此前的 SageMaker 无服务器模型定制有什么区别？

此前提供的是托管式的模型定制，包括多轮强化学习在内的技术由服务封装好。训练会话新增的是循环由你写这一层：你可以定义自己的损失函数、塑造奖励信号、把强化学习的多个阶段放在同一个循环里，而基础设施仍由服务承担。

支持哪些模型？

官方在公告中列出的首发支持模型是 gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B 与 Qwen3.8-27B。后续是否扩展，以官方文档为准。

我的数据会被用来训练别的模型吗？

AWS 在公告中声明不会使用你的数据或定制后的权重训练其他模型。数据存放在你指定区域的 S3 桶中，检查点也落在那里，并可使用你自己的 KMS 密钥与 VPC 配置。

计费方式是什么？

官方说明是按 SageMaker 处理的 token 计费；奖励函数在你自己环境里打分的那段时间计量会暂停，且不需要预留容量。具体费率以官网定价页为准，本文不列具体数字。

需要懂强化学习才能用吗？

写自定义循环需要理解训练流程本身。如果标准微调或托管技术已能满足需求，官方也提供了更省事的路径：用 cookbook 里的例子，或让配套的编码智能体按你描述的用例完成数据准备、技术选型、训练、评估与部署。

相关工具与内容

• AI 编程
• AI 智能体
• 腾讯CodeBuddy
• Claude Code
• GitHub Copilot
• vLLM 0.32.0 发布
• Unsloth 微调版发布
• TRL 1.15.0 发布