Transformers v5.20.0 发布：一口气纳入 Muse Spark Open、Ling 3.0 Flash、Kolibri 1 等七个新架构

Hugging Face 在 2026 年 10 月 15 日发布 Transformers v5.20.0。这次的看点是新增模型：Meta 的多模态混合专家模型 Muse Spark Open、InclusionAI 的 Ling 3.0 Flash、Aleph Alpha 的 Kolibri 1、OpenBMB 的 MiniCPM-V 4.7、百度的 UnlimitedOcr、UltraBERT 编码器族，以及端到端说话人分离转写模型 MOSS-Transcribe-Diarize。版本同时带几处破坏性改动，并标注了使用 EP 推理时的速度回退。

这次发布的是什么

Hugging Face 在 2026 年 10 月 15 日发布了 Transformers v5.20.0（PyPI 上的安装包同日上传，GitHub Release 标记为正式版、非预发布）。这是一个以「新增模型」为主的版本：官方发布说明里一口气列出了七个新纳入的架构，覆盖多模态、混合专家、光学字符识别、文本编码与语音转写几个方向，同时带有若干破坏性改动。

七个新增模型分别是：

• Muse Spark Open：Meta 的多模态混合专家模型，输入支持文本、图像、音频与视频，输出为文本。官方说明给出总参数 816B、每 token 激活 42B，跨模态共享的上下文上限为 1,048,576 token，检查点提供 BF16 与 NVFP4 两种格式，训练目标偏智能体编码类任务（多文件编辑、调试、工具调用）。
• Ling 3.0 Flash：InclusionAI 的混合专家语言模型，解码器把五层 Kimi Delta Attention 与一层多头潜在注意力编组，后者使用交错式旋转位置编码与逐头输出门控。它以原生类名「BailingHybridForCausalLM」支持，加载时不再需要打开远程代码信任。
• Kolibri 1：Aleph Alpha 的推理向混合专家模型，侧重德语与英语。共 50 层，每层用 sigmoid 路由把每个 token 分到 384 个专家中的 6 个，另加一个共享专家；四层滑动窗口注意力与一层全注意力交替，旋转位置编码只用在滑动窗口层。
• MiniCPM-V 4.7：OpenBMB 的高效多模态大模型，视觉侧采用带窗口注意力合并的 SigLIP 编码器，语言侧是 Qwen3.5，支持 4 倍与 16 倍视觉下采样。相比上一版的主要新增是「画布式 M-RoPE」：不再把视觉 token 沿一维序列编号，而是把每张图铺在二维画布上，给每个视觉 token 一个（时间、高度、宽度）位置。
• UnlimitedOcr：百度的 30 亿参数光学字符识别模型，上下文长度 32,768 token。它在 DeepSeek OCR 基础上把所有解码器注意力层换成参考滑动窗口注意力，使解码过程中键值缓存保持恒定，从而一次前向传播可转写数十页。提供「gundam」与「base」两种切图模式，可输出带边界框的区域检测。
• UltraBERT：面向分类与检索的双向文本编码器族，用掩码比例、剪枝与蒸馏的组合训练，支持最长 32,768 token，采用旋转位置编码、RMSNorm、SwiGLU 前馈层与局部全局交替注意力（每三层一层全局）。已释出用于掩码语言建模与微调的两个尺寸，以及一个文本嵌入版本。
• MOSS-Transcribe-Diarize 0.9B：端到端音频理解模型，做长音频多说话人转写、说话人分离与时间戳，一次前向同时产出转写与说话人标签，段落格式形如「[start][S01]文本[end]」。支持热词偏置的提示式转写，官方称覆盖数十种语言。

可用性与限制

• 版本性质：官方 Release 标记为正式版，非预发布；但发布说明里明确标注使用 EP 推理存在速度回退，团队称正在修复。
• 破坏性改动：缓存工具模块里已废弃的检查与方法被移除，仍调用旧缓存接口的模型需要切到当前缓存接口。
• 导入路径：若干模型文件里误引入的其他模型名被清理，原本靠这些模块间接拿到名字的代码需要改回从原模块导入。
• 依赖下限：kernels 的最低版本提到 0.17.2，低于此版本需要升级。
• 配置写法：新增的子配置规范改变了子配置的初始化方式，自定义或既有的嵌套配置可能需要按新机制声明。
• 费用与许可：库本身的安装与商用条款以 Hugging Face 官方仓库许可为准；各模型的权重许可由各自发布方决定，本文不列写具体条款。

主要功能

• 新增多模态混合专家模型 Muse Spark Open，支持文本、图像、音频与视频输入
• 原生支持 Ling 3.0 Flash，加载时不再需要打开远程代码信任
• 纳入 Aleph Alpha 的 Kolibri 1 推理模型
• 支持 MiniCPM-V 4.7 的画布式多维旋转位置编码
• 纳入百度的 UnlimitedOcr，单次前向可转写数十页
• 新增 UltraBERT 编码器族，覆盖分类、检索与文本嵌入
• 新增 MOSS-Transcribe-Diarize，端到端产出转写与说话人标签

技术原理

这批模型里有三条值得留意的技术线索。

第一条是注意力结构的替换。Ling 3.0 Flash 把五层 Kimi Delta Attention 配一层多头潜在注意力，前馈块则同时含路由专家与共享专家；Kolibri 1 走的是 sigmoid 路由加共享专家，配合四层滑动窗口注意力与一层全注意力交替，且旋转位置编码只加在滑动窗口层上。这类设计的共同目的是在长上下文下压住注意力的开销。

第二条是长上下文下的记忆开销。UnlimitedOcr 把解码器注意力全部换成参考滑动窗口注意力，官方称这让解码期间的键值缓存保持恒定，因此单次前向就能转写数十页——这对票据、合同、扫描档案这类场景是实打实的效率差异。

第三条是多模态位置编码。MiniCPM-V 4.7 的画布式 M-RoPE 把视觉 token 从一维序列铺到二维画布，每个 token 带（时间、高度、宽度）位置，于是同一张图的切片保留空间关系、视频帧保留时间顺序。相比单纯把图像摊平成一串 token，这种做法在切图与视频场景下更不容易丢位置信息。

实际体验

这篇不提供第一人称实测，只给出读者可以自己复现的验证步骤。

第一步先做版本核对。装完后确认版本号与最低依赖版本是否满足要求，尤其是 kernels 是否已升到 0.17.2 或以上，否则可能在加载内核时报错。

第二步针对破坏性改动做回归。如果项目里用过缓存工具模块的旧方法，或者曾在模型模块里间接导入过别的模型的名字，升级后要按发布说明改到新接口，并在原有测试集上跑一遍确认行为没变。

第三步验证长文档场景。用一份多页扫描件对比开启与不开启长上下文路径时的显存占用与耗时，确认参考滑动窗口注意力带来的键值缓存差异是否如官方描述那样体现出来。

第四步验证多模态输入顺序。给 MiniCPM-V 4.7 这类模型同时喂多张图与一段视频帧，检查输出是否还保持空间与时间顺序；这一步能直接看出位置编码改动的效果。

项目地址与获取方式

官方 Release 页：https://github.com/huggingface/transformers/releases/tag/v5.20.0

安装与文档入口：以 Hugging Face 官方仓库与官方文档站为准，各新增模型的文档页链接在官方 Release 说明里已列出。

各模型权重的托管地址与许可由各自发布方决定，请以模型卡为准。请通过官方渠道安装与下载，避免引入被篡改的包或权重。

适合谁用

• 需要在本地跑多模态混合专家模型的开发者：Muse Spark Open 提供了 BF16 与 NVFP4 两种检查点
• 做长文档光学字符识别的团队：UnlimitedOcr 的恒定键值缓存适合票据与档案批量处理
• 做会议转写与说话人分离的开发者：端到端一次产出转写与说话人标签，省掉串联两个模型的麻烦
• 做检索与分类的工程师：UltraBERT 覆盖掩码语言建模、微调与文本嵌入三类用途
• 不必急着升的人：生产环境若正依赖被移除的旧缓存接口或旧导入路径，建议先在测试环境跑通回归再升

常见问题

升级到 v5.20.0 会不会改坏现有代码？

有可能。这次带破坏性改动：缓存工具模块的废弃方法被移除、跨模型的误引用被清理、kernels 最低版本提高、子配置初始化方式改变。建议先在测试环境跑回归。

为什么官方说使用 EP 推理有速度回退？

官方在发布说明里把它列为通用破坏性提示，称正在尽快修复。如果你正用这条推理路径，建议先测速再决定是否升级，或以官方后续修复版本为准。

Muse Spark Open 的上下文真能用到一百万 token 以上吗？

官方说明给出的跨模态共享上下文上限是 1,048,576 token。实际可用长度还取决于显存、量化格式与推理后端，以官方模型卡与文档为准。

Ling 3.0 Flash 还需要打开远程代码信任吗？

官方说明写的是以原生类名支持，加载时不再需要打开远程代码信任。这属于本次新增里对工程落地比较实用的一点。

各模型的商用许可怎么查？

库的许可与模型的许可是两回事。库以官方仓库许可为准，每个模型的权重许可要看对应模型卡与发布方声明，本文不代为判断。

相关工具与内容

• 分类：AI 编程、AI 图像、AI 音频
• 工具页：讯飞听见、腾讯 OCR、通义千问、DeepSeek
• 同题材快讯：Transformers v5.18.0 发布
• 延伸阅读：Meta 发布 Muse Wonder