Mistral 开放 Mistral Large 4 权重：1 万亿参数 MoE，同日进 Transformers 与 vLLM

Mistral AI 于 2026 年 10 月 29 日放出 Mistral Large 4（代号 le Chonk）的开放权重，仓库为 Hugging Face 上的 mistralai/Mistral-Large-4-1T-A52B。模型总参数约 1 万亿、每 token 激活 490 亿（含嵌入与输出层为 520 亿），支持 100 万 token 上下文与图像输入，采用调整过的 MIT 许可（模型即服务需另签商业许可）。同一天推理框架侧跟上：vLLM 给出 day-0 支持与专用镜像，Transformers v5.22.0 也加入支持。

这次发布的是什么

Mistral AI 在 2026 年 10 月 29 日放出了 Mistral Large 4（内部代号 le Chonk）的开放权重，权重托管在 Hugging Face 的 mistralai/Mistral-Large-4-1T-A52B 仓库。这款模型在 10 月 6 日先以公开预览形式上线 API，当时官方给出的说法是权重在当月内放出，29 日这次发布兑现了那句承诺。

按官方发布的架构说明与同日推理侧的接入文档，Mistral Large 4 是一个总参数约 1 万亿的稀疏混合专家模型，每个 token 激活约 490 亿参数，把嵌入层与输出层算进去是 520 亿。它把指令跟随、推理与智能体能力放在同一套权重里，输入支持文本与图像，输出为文本。

对做自建推理的团队来说，这件事的分量在于「1 万亿参数级别的旗舰权重可以下载了」。此前同级开放权重多来自中国团队，欧洲实验室把这一档放开是第一次；Mistral 自己把这条叙事落在「AI 主权」上，强调训练与部署都在欧洲境内完成。

可用性与限制

• 当前状态：权重已发布可下载，API 侧同期可用，不再只是预览。
• 许可：Mistral Ecosystem Open-Weight License，是修改后的 MIT；允许使用、修改、微调与商业化，但把模型作为服务对外提供（模型即服务）需要单独取得商业许可。
• 获取位置：Hugging Face 仓库 mistralai/Mistral-Large-4-1T-A52B，量化版另有 NVFP4 仓库；许可文件在同一仓库内。
• 硬件门槛：1 万亿总参，官方示例按多卡张量并行给出（FP8 为 8 卡，NVFP4 在 Blackwell 上 4 卡），消费级单卡不在范围内。
• 上下文：支持 100 万 token，但长上下文需要额外开启上下文并行等配置，显存预算随并发上升。
• 地区与合规：官方称提供由 Mistral 端到端运营的欧洲部署选项；具体可用地区与部署形态以官网为准。
• 价格：API 按 token 计费，档位与折扣以官网为准，本文不列数字。
• 安全口径：官方称实测中模型会拒答针对真实目标发起的黑盒攻击，但同时写明仍存在被用于真实攻击的能力外溢风险，正在据此调整护栏。权重一旦下载，护栏的更新不再由厂商单方面决定。

主要功能

• 单一权重内同时覆盖指令跟随、推理与智能体三类用法
• 三档推理强度可选，低、中、高三档，默认高档
• 原生支持函数调用、JSON 输出与严格 JSON Schema 约束
• 接受文本与多图输入，输出文本，图像侧用 Pixtral 视觉编码器
• 100 万 token 上下文窗口，面向长文档与长任务
• 内置投机解码草稿器，官方称在 8 卡张量并行下输出吞吐约翻倍
• 覆盖 160 多种语言，包含欧盟全部官方语言

技术原理

结构上是 72 层混合专家模型：128 个路由专家每 token 取其中 4 个，另有 1 个共享专家，隐藏维度 6144，只有第 0 层是稠密层。注意力采用 MLA（KV 的 LoRA 秩 512、RoPE 维度 64）叠加 DSA 稀疏索引器，每个 query 只取前 2048 个键；每 4 层设一个不使用位置编码的层，第 39 至 71 层中有若干层直接读第 35 层的潜在 KV 缓存以共享跨层信息；输出端有 logit soft cap 30。位置编码用 YaRN 加 LeRoPE，查询端再做一层与长度相关的缩放。

这套组合的直接后果是 KV 缓存变小。稀疏索引器把每个 query 的键数量压到 2048，跨层 KV 共享又让多层复用同一份缓存，于是长上下文的显存压力不再是线性增长。vLLM 团队在接入文里给出的说法是：在 8 卡张量并行下开启解码上下文并行可以获得约 7.9 倍的 KV 容量，prefill 阶段的首 token 时延最多降低 1.6 倍。

官方提供两种检查点：FP8 与 NVFP4，默认都使用 FP8 的潜在 KV 缓存。NVFP4 版本把专家权重压到 NVFP4、注意力与共享专家保留 FP8；vLLM 团队称它在多模态、长上下文、编码智能体等评测上与 FP8 的差距在 2.1 分以内、均值差为负 0.3 分，同时解码更快、KV 缓存容量约为 1.5 倍。这类「低精度不换质量」的说法来自接入方的自测，换到自己的任务上仍需复测。

实际体验

如果准备自己拉起来，按官方文档能复现的路径大致是这样，几处容易卡的地方值得先说。

第一，镜像与并行度要对上。vLLM 提供专用镜像 vllm/vllm-openai:mistral-large-4，里面带 mistral-common 1.13；FP8 按 8 卡张量并行起，NVFP4 在 Blackwell 上 4 卡起，仓库 id 直接写 mistralai/Mistral-Large-4-1T-A52B 或对应的 NVFP4 仓库。

第二，工具调用与推理分档要显式开。命令行里需要指定 mistral 的工具调用解析器与推理解析器，不指定的话函数调用与三档推理强度不会按预期生效。这一步在官方示例里是写在启动参数里的，照抄即可。

第三，投机解码默认不开。DSpark 草稿器需要单独配置，官方示例给的是深度 3、每步接受约 2.9 个 token；它的收益在吞吐，不在单条时延，交互式场景要自己权衡。

第四，框架侧同日跟进但带破坏性变更。Transformers v5.22.0 在 2026 年 10 月 29 日发布并加入支持，同一版把专家并行逻辑拆到了独立文件，属于破坏性变更，升级前先看版本说明，别在生产环境直接跳版。

第五，长上下文别一次拉满。100 万 token 需要配合上下文并行与更大的 KV 预算，实际能开多大取决于卡数与并发，按业务并发倒推比按上限配置更稳。

项目地址与获取方式

权重与模型卡在 Hugging Face 的 mistralai/Mistral-Large-4-1T-A52B 仓库，许可文件在同一仓库内，量化检查点另有独立仓库。推理侧可参考 vLLM 官方博客的接入说明与专用镜像，框架侧为 Transformers v5.22.0。请通过 Hugging Face 官方仓库与 vLLM 官方镜像获取；大模型权重难以校验完整性，不要使用第三方转存的版本，也不要执行来源不明的加载脚本。

适合谁用

• 需要在自有或私有云上跑前沿级开放权重模型的团队：这是当前少见的万亿参数可下载权重。
• 对数据出境与供应商锁定敏感的受监管行业：权重自持意味着推理链路可控。
• 做编码智能体的工程团队：原生函数调用与严格 JSON Schema 是接工具的前提。
• 需要长文档加图像混合输入的场景：100 万 token 上下文与视觉编码器同时具备。
• 不必用：只在网页里做一次问答的用户；显存有限的个人开发者，1 万亿总参不是单机能承担的量级。

常见问题

权重与 API 是同一份模型吗？

官方说法是权重版本在预览基础上又追加了约三周的强化学习，能力与效率都有提升，因此权重版与三周前的预览 API 不完全等同。当前 API 侧是否已切到同一版本，以 Mistral 官网说明为准。

许可能不能商用？

可以。许可为修改后的 MIT，允许使用、修改、微调与商业化；只有一条需要额外动作：把模型作为服务对外提供，这种情况需要单独取得 Mistral 的商业许可。具体条款以仓库内的许可文件为准。

单机能不能跑起来？

按官方示例不行：FP8 走 8 卡张量并行，NVFP4 也要 4 卡且限于 Blackwell。社区量化版本可以进一步降低门槛，但速度与质量需要自己评估，且不属于官方支持范围。

现在能直接上生产吗？

权重刚发布，官方自述仍在持续调整护栏，第三方复现与独立评测还没跟上。建议先用自有任务做一轮对照，尤其是工具调用与长上下文两处，再决定是否切生产。

为什么官方要专门提示安全风险？

因为权重可下载意味着护栏可以被修改。官方写明实测中对真实目标的黑盒攻击会拒答，但仍认为存在被用于真实攻击的能力外溢风险，并表示会持续更新护栏。这条提示的实际含义是：自托管之后，如何限制滥用由使用者自己负责。

相关工具与内容

• vLLM 发布 v0.32.0：结构化决策端点默认开启
• 智谱 GLM-5.3 上架 Amazon Bedrock：7530 亿参数 MoE
• Google 发布 Gemini 4 Carbon：主打网络安全与长时程智能体
• AI 编程
• AI 智能体
• AI 工作助手