">

Inkling 2 Mini 开放权重:循环混合专家模型主打本地运行,约 20GB 内存占用

Thinking Machines Lab 于 2026 年 11 月 20 日发布 Inkling 2 Mini,开放模型权重并提供可变循环研究版。官方说明它是 26.4B 总参数、3.4B 激活的循环混合专家模型,中间层对每个 token 运行三次,权重以内生的 NVFP4 与 MXFP8 精度部署,内存占用约 20GB,支持 Ollama、vLLM、SGLang 等多种推理路径。许可名称与上下文窗口官方页未写明,以官网为准。

这次发布的是什么

Thinking Machines Lab 在 2026 年 11 月 20 日发布 Inkling 2 Mini,并开放模型权重。官方页写明「Today we are releasing Inkling 2 Mini, a fast, powerful model that's small enough to run on your laptop.」同时发布的还有可变循环研究模型 TML-d24-varloop-research,完整权重放在 Hugging Face。

这不是一次接口发布,也不是单纯的研究披露:官方给出了可直接下载使用的权重、多种推理与微调渠道,以及具体的本地运行条件。模型定位是可在消费级笔记本与桌面 AI 计算机上运行的多模态模型,接受文本与图像输入、生成文本输出。

需要注意本文的取材口径:官方页日期为 2026 年 11 月 20 日,HN 上的提交时间为 11-20T20:12Z,落在 24 至 48 小时窗口内。另一篇 Transformers v5.24.0 文章讲的是开源库在 11 月 21 日新增对这个架构的支持,属于不同事件,本文只讲模型本身的发布。

可用性与限制

  • 发布状态:官方写明开放权重,完整权重与研究版均在 Hugging Face 提供;官方页没有写明具体许可证名称,以官网与模型卡当前说明为准。
  • 上下文窗口:官方页未在可见正文给出明确的上下文长度数值,文中出现的 256K 与 512K 是评测设置,不能等同为官方上下文窗口,以模型卡为准。
  • 本地条件:官方称发布时支持至少 32GB 内存的 Mac 系统通过 Ollama 运行,模型内存占用约 20GB;其他设备的实际可用性取决于显存与推理框架支持。
  • 研究版限制:TML-d24-varloop-research 用一到五次循环训练,其他循环次数的表现可能不足;官方提醒不同模型的评测设置并不一致。
  • 许可差异:Lara Mini 等同期模型的非商业限制不适用于本文,但 Inkling 2 Mini 的许可仍需按官方页面核对,本文不做推断。

主要功能

  • 开放权重:提供完整权重与可变循环研究版权重。
  • 本地推理:支持在消费级笔记本与桌面 AI 计算机上运行。
  • 多模态输入:接受文本与图像输入,生成文本输出。
  • 循环计算:中间层对每个 token 重复运行三次,共享权重。
  • 多框架适配:提供 Ollama、vLLM、SGLang 等开源推理路径。
  • 微调支持:可通过 Tinker 做推理与定制,并有多种强化学习微调渠道。

技术原理

官方说明 Inkling 2 Mini 是循环变换器与混合专家模型:总参数 26.4B,激活参数 3.4B,计入循环后每个 token 有 5.4B 的权重激活量。模型共 24 层,分成四个六层块,中间两个块对每个 token 运行三次,首尾块各运行一次;第二和第三块在三次过程中共享权重,因此 24 个存储层对应每 token 48 次层应用。每次循环从前置块的输出开始,后两次还会读取上一轮中间块的输出,官方称为 message,用学习到的消息传递机制把上一轮的残差混入当前轮的注意力与专家输入。

精度安排是本地可运行的另一关键。官方说明多数权重以 NVFP4 训练并部署,最后四层用 MXFP8,部署精度与训练精度一致,因此没有量化转换损失。混合专家部分经过剪枝:初始从更多专家中选择,之后保留使用频率较高的专家并用额外 token 做修复训练。官方给出的总内存占用约 20GB,这是它能落在消费级设备上的直接原因。

可变循环研究版把循环次数开放出来,训练范围是一到五次。官方观察到长上下文类评测随循环次数增加而改善,知识密集型评测则不明显,并提醒其他循环次数没有针对性训练。运行生态方面,官方列出 Ollama、SGLang、vLLM、Unsloth、NVIDIA Dynamo、TokenSpeed 与 Llama App 等推理路径,Tinker 提供推理与微调,GGUF 版本可通过 Unsloth 与 llama.cpp 获取,强化学习微调支持 SkyRL、Miles 与 NVIDIA AutoModel。

实际体验

从官方页面可以核对的观察如下。模型给出的是明确可下载的权重和具体内存占用,而不是仅有技术报告;官方称发布时支持至少 32GB 内存的 Mac 通过 Ollama 运行,这意味着验证门槛可以从设备规格直接判断,不必依赖云端配额。

运行路径的可选择性较多。想用 Tinker 做推理与定制,可以直接走官方托管路径;想在本地跑,则可选 Ollama、llama.cpp 的 GGUF 版本,或在 vLLM、SGLang 等框架中加载。不同路径带来的量化方式、内存占用与速度差异,官方公告没有逐一给出对照数据,需要在自己的硬件上实测。

需要留出判断空间的点有两个。一是许可证名称在官方页没有写明,商用前必须回到模型卡核对;二是上下文窗口没有明确数值,评测里出现的长上下文设置不能当作产品承诺。官方也提到发布版模型会拒绝不少侧任务类安全评测,因此某些自动化评测流程需要先做适配。本文没有转述任何基准分数与名次。

项目地址与获取方式

  • 官方发布页:thinkingmachines.ai/news/inkling-2-mini/
  • 研究版权重:huggingface.co/thinkingmachines/TML-d24-varloop-research
  • 推理与适配:可通过 Tinker、Ollama、SGLang、vLLM、Unsloth 等官方列出的渠道使用;GGUF 版本走 llama.cpp 生态。
  • 库支持:Transformers v5.24.0 已纳入 Inkling 2 Mini,按官方模型文档配置。

请通过官方渠道获取,避免安装被篡改的权重文件或构建版本。下载后应核对文件来源与许可说明,尤其是用于商业用途时。

适合谁用

  • 有 32GB 以上内存 Mac 或其他本地设备、想离线跑多模态模型的开发者。
  • 关注循环变换器与混合专家结构的研究者:研究版开放了一到五次循环的可变设置。
  • 已在使用 Ollama、vLLM 或 SGLang 的团队:可用现有推理栈尝试新架构。
  • 需要把推理留在本地、减少数据外发的场景:本地权重提供了这样的可能,但仍需自行评估合规要求。
  • 只想获得稳定托管 API、不打算管理权重与硬件的用户:这次发布对自己帮助有限。

常见问题

这个模型和 Transformers v5.24.0 文章里的是同一个吗?

模型是同一个,事件不是。本篇讲 Thinking Machines Lab 在 11 月 20 日发布并开放权重;那篇讲 Hugging Face 在 11 月 21 日发布的 Transformers v5.24.0 把它纳入支持,且只是该版本十个新增架构之一。两篇分别对应模型发布方和开源库方,一手来源与时间都不同,正文与 FAQ 都做了明确区分。

官方给出许可证了吗?可以商用吗?

官方发布页写明开放权重并在 Hugging Face 提供完整权重,但没有在可见正文写明具体许可证名称。因此本文不替它下结论,商用前请回到官方模型卡核对当前条款,以官网为准。这项信息已列入本站待审定要点,审定后会按官方最新说明更新。

上下文窗口到底是多少?

官方页没有给出明确的上下文窗口数值。文中出现的 256K 与 512K 属于评测设置,例如 GraphWalks BFS 与 MRCR 的测试配置,不能当作产品承诺。接入长文档应用前,应以模型卡和官方配置说明为准,并在自己的硬件上验证实际可用长度。

为什么中间层要跑三次?

官方的设计是让模型在参数量不变的情况下,对每个 token 多花计算:24 个存储层通过共享权重产生 48 次层应用。第二和第三次会读取上一轮中间块的输出,形成名为 message 的信息传递,让后续轮次能在前一轮结果上继续处理。官方同时提供可变循环研究版,便于观察不同循环次数对长上下文与知识类任务的影响。

32GB 内存是硬性要求吗?

官方的原话是发布时支持至少 32GB 内存的 Mac 系统通过 Ollama 运行,并给出约 20GB 的模型内存占用。这是官方明确写出的条件,不等于其他设备一定不可用,也不等于低于该配置仍能流畅运行。实际表现取决于推理框架、量化方式与设备内存带宽,建议按自己的硬件实测。

相关工具与内容

模型权重开放与工具链适配是两步,选工具时先确认自己需要的是哪一步。

Related
快讯 12 小时前

AWS Quick 同日三组更新:插件打包智能体与技能,网页端与 Flows 打通跨端工作流

AWS 在 2026 年 11 月 20 日至 21 日连续发布三条 AWS Quick 更新:插件可把智能体、技能、连接器与流程打包成一次安装的单元;网页端把桌面体验搬进浏览器,并更新浏览器扩展与 Microsoft 365 加载项;Flows 支持用对话构建自动化,并加入确定性步骤与输出校验。官方用户指南说明 Quick 由 Amazon QuickSight 演进而来,原有 QuickSight 接口与集成继续可用。

前沿快讯 16 阅读
快讯 12 小时前

Amazon Bedrock 网页搜索新增五种语言与国别字段:按用户所在国偏置检索来源

AWS 于 2026 年 11 月 21 日宣布 Amazon Bedrock 的 Web Search 工具新增西班牙语、法语、德语、意大利语和日语,并支持非美式英语;同时加入可选的国家字段,用 ISO 3166-1 alpha-2 代码把检索来源偏置到指定国家。现有客户无需改代码即可获得语言能力,可用区域与数据驻留口径以官网为准。

前沿快讯 17 阅读

继续阅读:AI 配音选型:品牌音色用预置、克隆还是真人后处理 · 编码助手换模型怎么验收:从基线到弃用期的八步

关于本文:本站文章由编辑部独立撰写,评测口径与免责说明见关于我们。想继续找工具,可从分类导航按场景浏览,或回首页搜索。

链接已复制