">

Transformers v5.24.0 发布:纳入十个新模型架构,缓存参数改名进入兼容期

Hugging Face 于 2026 年 11 月 21 日发布 Transformers v5.24.0,正式版标注为 prerelease=false。本次新增 Inkling 2 Mini、Apertus 1.5、Omnilingual ASR、HY4-VL 等十个模型架构支持,同时把 past_key_values 与 cache_params 统一改名为 cache,并给出跨版本的兼容时间表。

这次发布的是什么

Hugging Face 在 2026 年 11 月 21 日发布 Transformers v5.24.0。GitHub Release 的 REST 接口复核显示 published_at 为 2026-11-21T12:28:26Z,prerelease 与 draft 均为 false,属于正式版本。Transformers 是开源社区广泛使用的模型库,这次更新的主体是新增模型架构支持,另有一组需要开发者留意的接口变更。

新增部分共列出十个架构或模型:Thinking Machines Lab 的 Inkling 2 Mini、Swiss AI Initiative 的 Apertus 1.5、WavTokenizer 音频分词器、NVIDIA 的 Dory、混元 V4 视觉语言模型 HY4-VL、Meta FAIR 的 Omnilingual ASR、Translated 的 Lara Mini、Sarvam AI 的 SarvamMLA 与 SarvamMoE,以及 LG AI Research 的 EXAONE 系列。此外还列有 Ling 3.1 Flash 与 Beam 两项模型更新。

接口部分的变化集中在缓存参数的命名:过去不同模型分别使用 past_key_values 或 cache_params,现在全库统一为 cache。官方保留了旧名称的兼容期,并给出明确的版本节点。对升级者来说,这是本次最需要提前核对的部分。

本站此前写过 v5.18、v5.20 与 v5.21 三次发布,本篇只讨论 v5.24.0 的增量,不复述历史版本内容。另有一篇专稿讲 Inkling 2 Mini 模型本身的权重发布与本地运行,本篇只讲它被纳入 Transformers 支持这件事,两者是不同事件。

可用性与限制

  • 版本性质:GitHub REST 接口确认 prerelease=false、draft=false,发布时间为 2026-11-21T12:28:26Z。
  • 兼容期:模型 forward 与 prepare_inputs_for_generation 的旧参数名保留到 v5.40.0,generate 保留到 v6.0.0;同时传入旧名与 cache 会抛出 ValueError。
  • 依赖要求:本次起要求 peft 不低于 0.22.0,升级前需核对现有环境。
  • 许可差异:新增模型中 Lara Mini 的权重以 CC BY-NC-SA 4.0 发布且位于 gated 仓库,限非商业用途;其他模型的许可按各自页面为准。官方公告未逐项列出全部许可,不在本文做统一推断。
  • 用途边界:新增的是架构支持,不等于官方对模型效果作保证;官方也没有在发布说明里给出可比的基准分数,本文不转述任何评分或排名。

主要功能

  • 新增架构:一次纳入十个模型或架构支持,覆盖文本、多模态、语音与视觉语言。
  • 统一缓存名:past_key_values 与 cache_params 统一改为 cache。
  • 兼容提示:旧名称仍可用,但会给出一次性弃用警告。
  • 共享输出类:生成式多模态模型改用共享输出类,便于统一处理。
  • 移除旧模块:modeling_attn_mask_utils.py 被移除,函数迁至 masking_utils。
  • 注意力接口:LayoutLMv3 与 PP-DocLayoutV2 接入注意力接口,支持 SDPA 与 flex attention。

技术原理

新增模型里,Inkling 2 Mini 是循环变换器与混合专家结构,24 层分为四个六层块,中间两个块对每个 token 运行三次并共享权重,因此 24 个存储层对应 48 次层应用。Apertus 1.5 接受文本、图像与音频输入并生成文本,通过 EMU3.5 图像分词器与 WavTokenizer 把媒体转成离散 token,与文本共享输入词表;输出词表仅含文本,因此不支持图像或音频生成。Omnilingual ASR 是覆盖上千种语言的语音识别模型套件,提供 CTC 与音频语言模型两种头部,各有多个规格。HY4-VL 把混合专家文本主干与视觉编码器结合,支持动态分辨率输入,并用多模态旋转位置嵌入表达时空位置。

缓存改名是工程层面的重点。过去 attention 模型用 past_key_values,Mamba 与线性注意力模型用 cache_params,现在统一到 cache。官方说明旧名会自动改名并给出一次性警告:模型 forward 与 prepare_inputs_for_generation 接受旧名到 v5.40.0,generate 接受旧名到 v6.0.0;同时传入旧名和新名会触发 ValueError。输出对象也保留旧字段一段时间,例如 outputs.past_key_values 仍返回缓存。库外自定义代码需要把参数改名,自定义 Cache 子类的 update 方法还要接受新增的 kwargs 参数。

另外两组变更影响较窄但要留意。生成式多模态模型现在返回共享输出类,检查模型专属输出类的代码需要改成检查共享类。旧的 modeling_attn_mask_utils.py 被移除,远程代码若仍从那里导入相关函数,必须迁移到 transformers.masking_utils。LayoutLMv3 则接入注意力接口,因而支持 SDPA 与 flex attention,相对位置偏置每次前向只构建一次并作为 position_bias 传入。

实际体验

从发布说明可以核对的观察有以下几处。新增模型的覆盖面明显变宽:既有纯文本模型,也有图文、音频输入与语音识别,还有文档版式相关的模型更新。对使用者而言,升级后能否直接调用某个模型,取决于对应架构是否随版本发布,以及权重仓库是否开放;像 Lara Mini 这样的非商业许可与 gated 仓库,仍需单独申请或确认授权。

缓存改名的兼容期设计可以逐步迁移,不必一次改完。旧参数名在 forward、prepare_inputs_for_generation 与 generate 三条路径上的保留节点不同,意味着只调用 generate 的代码和自定义模型代码面临的时间表不一致。升级前较稳妥的做法是先在自己的代码里搜索旧参数名,区分是调用方还是自定义实现,再按对应节点安排修改。

移除 modeling_attn_mask_utils.py 对使用远程代码的项目影响更直接:只要还有旧导入就会报错,需要在升级前完成迁移。官方没有在发布说明里给出自动迁移工具,建议结合项目依赖测试逐项验证。需要强调的是,发布说明中的模型描述都是架构事实,本文没有把任何自测效果或基准分数写成结论。

项目地址与获取方式

  • 发布页:github.com/huggingface/transformers/releases/tag/v5.24.0(可直接查看新增模型清单与破坏性变更全文)
  • 项目仓库:github.com/huggingface/transformers
  • 模型文档:huggingface.co/docs/transformers/main/en/model_doc 下按模型名查找,例如 inkling2_loop、apertus1p5、omniasr。
  • 安装与升级:按项目当前官方文档执行,升级前先确认 peft 版本满足要求。

请通过官方渠道获取,避免安装被篡改的构建版本。模型权重请从对应官方仓库下载,并核对各自的许可条款。

适合谁用

  • 需要跟进新架构的开发者:一次升级即可在统一接口下尝试多个新模型。
  • 使用长文本生成或自定义缓存逻辑的团队:缓存改名与兼容节点需要提前排期。
  • 依赖远程代码或旧注意力掩码工具的维护者:旧模块移除需要在升级前完成迁移。
  • 做多语言语音识别或文档理解的研究者:Omnilingual ASR、LayoutLMv3 等改动与本类任务直接相关。
  • 只想直接调用托管 API、不维护本地依赖的用户:这次库版本更新与自己关系不大。

常见问题

v5.24.0 是正式版还是预发布?

GitHub REST 接口显示 prerelease=false、draft=false,published_at 为 2026-11-21T12:28:26Z,因此按正式版处理。本文只依据这一条一手记录定性,不把发布说明中的其他版本字样自行解释为阶段标签。

升级后旧代码会立刻报错吗?

多数情况下不会立刻失效。官方说明 past_key_values 与 cache_params 会自动改名为 cache,并给出一次性弃用警告;模型 forward 与 prepare_inputs_for_generation 接受旧名到 v5.40.0,generate 接受旧名到 v6.0.0。但同时传入旧名和 cache 会抛 ValueError,自定义 Cache 子类的 update 方法也需要接受新增的 kwargs。另外 modeling_attn_mask_utils.py 已被移除,仍有旧导入的代码会在这一步直接失败。

这次新增的模型和本站那篇 Inkling 2 Mini 专稿是什么关系?

是两件不同的事。专稿讲的是 Thinking Machines Lab 在 11 月 20 日发布模型权重、开放本地运行方式;本篇讲的是 11 月 21 日 Transformers 把这个架构纳入支持,且它只是十个新增架构中的一个。两篇的来源、时间与主体都不同,正文和 FAQ 都做了区分,不建议合并阅读后混为一谈。

新增模型都能直接商用吗?

不能一概而论。发布说明明确 Lara Mini 的权重使用 CC BY-NC-SA 4.0 且位于 gated 仓库,限非商业用途;其他模型的许可由各自仓库决定,官方公告没有逐项统一说明。上线前应按每个模型的官方页面核对许可与使用限制,以官网为准。

官方给出基准分数或效果排名了吗?

发布说明包含架构描述与模型更新列表,本文没有转述其中的效果结论。本站不搬运跑分、评分与名次,涉及效果判断请以官方技术报告和自己的样本测试为准。

相关工具与内容

把这个系列连起来看,可以区分「模型权重开放」与「开源库新增适配」这两类常被混为一谈的事件。

Related
快讯 12 小时前

AWS Quick 同日三组更新:插件打包智能体与技能,网页端与 Flows 打通跨端工作流

AWS 在 2026 年 11 月 20 日至 21 日连续发布三条 AWS Quick 更新:插件可把智能体、技能、连接器与流程打包成一次安装的单元;网页端把桌面体验搬进浏览器,并更新浏览器扩展与 Microsoft 365 加载项;Flows 支持用对话构建自动化,并加入确定性步骤与输出校验。官方用户指南说明 Quick 由 Amazon QuickSight 演进而来,原有 QuickSight 接口与集成继续可用。

前沿快讯 16 阅读
快讯 12 小时前

Amazon Bedrock 网页搜索新增五种语言与国别字段:按用户所在国偏置检索来源

AWS 于 2026 年 11 月 21 日宣布 Amazon Bedrock 的 Web Search 工具新增西班牙语、法语、德语、意大利语和日语,并支持非美式英语;同时加入可选的国家字段,用 ISO 3166-1 alpha-2 代码把检索来源偏置到指定国家。现有客户无需改代码即可获得语言能力,可用区域与数据驻留口径以官网为准。

前沿快讯 17 阅读
快讯 12 小时前

Inkling 2 Mini 开放权重:循环混合专家模型主打本地运行,约 20GB 内存占用

Thinking Machines Lab 于 2026 年 11 月 20 日发布 Inkling 2 Mini,开放模型权重并提供可变循环研究版。官方说明它是 26.4B 总参数、3.4B 激活的循环混合专家模型,中间层对每个 token 运行三次,权重以内生的 NVFP4 与 MXFP8 精度部署,内存占用约 20GB,支持 Ollama、vLLM、SGLang 等多种推理路径。许可名称与上下文窗口官方页未写明,以官网为准。

前沿快讯 17 阅读

继续阅读:Inkling 2 Mini 开放权重:循环混合专家模型主打本地运行,约 20GB 内存占用 · AI 配音选型:品牌音色用预置、克隆还是真人后处理

关于本文:本站文章由编辑部独立撰写,评测口径与免责说明见关于我们。想继续找工具,可从分类导航按场景浏览,或回首页搜索。

链接已复制