开源大模型推理引擎 vLLM 于 2026 年 10 月 5 日发布 v0.31.0,官方 release 显示合入 717 次提交、来自 307 位贡献者。这一版围绕 DeepSeek-V4.1-Flash 的性能优化、快速重启机制 vllm preload、新一代 Model Runner 与投机解码、大规模集群服务以及安全加固展开。
vLLM 0.31.0 发布:717 次提交、DeepSeek-V4.1-Flash 性能优化与快速重启
这次发布的是什么
vLLM —— 一个开源的大模型推理与服务引擎 —— 于 2026 年 10 月 5 日在官方 GitHub 仓库发布了 v0.31.0 版本。官方 release 说明显示,这一版累计合入 717 次提交,来自 307 位贡献者(其中 96 位是首次贡献)。与日常的小版本不同,这次更新集中在「让前沿模型的推理更快、更稳、更易部署」这条主线上,涵盖了 DeepSeek-V4.1-Flash 的性能优化、快速重启机制、新一代 Model Runner 与投机解码、大规模集群服务以及多项安全加固。对正在用 vLLM 跑长上下文或多专家模型的团队来说,这是一次值得关注的版本。
可用性与限制
- 影响范围:面向使用 vLLM 自托管推理服务的团队,尤其是跑 DeepSeek-V4.1-Flash、Gemma4、Kimi-K3 等模型的集群。
- 硬件前提:文中大量优化面向 NVIDIA SM100 / SM103(Blackwell 架构)GPU;在非 Blackwell 硬件上的收益以官方说明为准。
- 升级注意:部分新开关(如实验性的初始化引擎快照、接收端媒体参数校验)默认关闭,需要显式开启,老配置可直接沿用。
- 兼容性:作为常规 minor 版本,建议先在小流量节点验证再全量升级;具体行为变更以发布说明为准。
- 安装渠道:仅通过 PyPI 与官方 GitHub 仓库获取,请通过官方渠道获取,避免安装被篡改的版本。
主要功能
- 优化 DeepSeek-V4.1-Flash 的 FlashMLA 注意力与压缩 KV 缓存默认值。
- 新增 vllm preload 命令,把量化后的权重常驻显存,缩短引擎重启时间。
- 在 Model Runner V2 上支持草稿模型投机解码与自定义 logits 处理器。
- 引入 MoonEP 均衡 EP all-to-all 后端,强化大规模 MoE 服务。
- 收紧多模态参数与前缀缓存的安全边界,防止越权覆盖。
技术原理
这一版的性能工作主要围绕 Blackwell 架构的硬件特性展开。据官方说明,FlashMLA 的 mega attention 配合 V4.1 的 NVFP4 压缩 KV 缓存成为 SM100 下的默认路径;DeepGEMM 稀疏 MQA logits、Mega-Gate 把门控 GEMM 与专家选择融合,解码器边界再融合 TP 全规约与序列并行准备,整体上减少显存搬运与同步开销。快速重启则靠一个权重缓存守护进程(vllm preload)把后量化权重留在 GPU 显存里,引擎重启后无需重新从磁盘加载权重;实验性的引擎快照还借助 CRIU 直接恢复一个初始化完成的单卡引擎。大规模服务一侧,MoonEP 提供了更均衡的专家并行 all-to-all 通信后端,配合 DeepEPv2 的序列并行与 EPLB 共享专家重叠,降低超宽专家并行部署时的通信瓶颈。以上性能结论均依据官方 release 说明,实际收益以各团队的硬件与模型为准。
实际体验
可复现的验证步骤:在已安装 vLLM 的环境中,先通过官方渠道升级到 v0.31.0,随后用一份已有的 DeepSeek-V4.1-Flash 配置拉起服务,观察首请求前的引擎冷启动耗时是否因为 vllm preload 守护进程而明显缩短;再对同一段长上下文做多次请求,记录吞吐与延迟的稳定性。注意不同 GPU 架构的收益差异较大,建议在目标硬件上做一次对照,而不是直接套用官方给出的相对数字。
项目地址与获取方式
开源仓库与发布说明均在 GitHub 的 vllm-project/vllm:https://github.com/vllm-project/vllm/releases/tag/v0.31.0 。安装包通过 PyPI 发布,具体版本与命令以官方仓库的安装说明为准。请通过官方渠道获取,避免安装被篡改的版本。
适合谁用
- 自托管大模型推理服务的工程团队,尤其是需要长上下文与高并发的场景。
- 跑 DeepSeek-V4.1-Flash、Gemma4、Kimi-K3 等多专家模型的研究与产品团队。
- 在 Blackwell 架构 GPU 上做推理优化的团队,能更直接地吃到这一版的性能工作。
- 什么人不必用:只调用托管 API、不自己部署推理引擎的开发者,这一版与你的日常使用无关。
常见问题
vLLM 0.31.0 一定要升级吗?
不一定。如果你的集群目前在稳定服务、且硬件并非 Blackwell 架构,这一版带来的边际收益有限;但官方把若干安全边界(多模态参数校验、前缀缓存标记)一并做了加固,长期看建议择机升级。具体以发布说明的兼容性段落为准。
这次更新对普通开发者有什么影响?
如果你只通过 OpenAI、智谱、DeepSeek 等托管接口调用模型,通常感知不到 vLLM 的版本变化。它主要影响的是那些把模型部署在自己服务器或云端的团队,决定了他们服务的成本与响应速度。
升级前要先做什么准备?
建议先在小流量节点升级并跑一轮回归,重点看自定义启动参数是否仍然生效、显存占用与延迟是否如预期;实验性开关默认关闭,按需开启即可。具体行为以官方 release 说明为准。
vllm preload 是做什么的?
它是一个权重缓存守护进程,把量化后的模型权重保持在 GPU 显存中,目标是让引擎在重启后不必重新从磁盘加载权重,从而缩短冷启动时间。是否启用、能带来多少收益,以你的部署规模与硬件为准。
相关工具与内容
- 代码类工具分类:本站整理的开发向 AI 工具入口。
- GitHub Copilot:面向开发者的 AI 编程助手。
- OLMo-core 3 发布快讯:另一篇近期开源模型推理相关的快讯。
- 智能体分类:本站智能体方向的内容入口。
相关内容
AWS Quick 同日三组更新:插件打包智能体与技能,网页端与 Flows 打通跨端工作流
AWS 在 2026 年 11 月 20 日至 21 日连续发布三条 AWS Quick 更新:插件可把智能体、技能、连接器与流程打包成一次安装的单元;网页端把桌面体验搬进浏览器,并更新浏览器扩展与 Microsoft 365 加载项;Flows 支持用对话构建自动化,并加入确定性步骤与输出校验。官方用户指南说明 Quick 由 Amazon QuickSight 演进而来,原有 QuickSight 接口与集成继续可用。
Amazon Bedrock 网页搜索新增五种语言与国别字段:按用户所在国偏置检索来源
AWS 于 2026 年 11 月 21 日宣布 Amazon Bedrock 的 Web Search 工具新增西班牙语、法语、德语、意大利语和日语,并支持非美式英语;同时加入可选的国家字段,用 ISO 3166-1 alpha-2 代码把检索来源偏置到指定国家。现有客户无需改代码即可获得语言能力,可用区域与数据驻留口径以官网为准。
Transformers v5.24.0 发布:纳入十个新模型架构,缓存参数改名进入兼容期
Hugging Face 于 2026 年 11 月 21 日发布 Transformers v5.24.0,正式版标注为 prerelease=false。本次新增 Inkling 2 Mini、Apertus 1.5、Omnilingual ASR、HY4-VL 等十个模型架构支持,同时把 past_key_values 与 cache_params 统一改名为 cache,并给出跨版本的兼容时间表。
继续阅读:智谱 GLM-5.3 上架 Amazon Bedrock:7530 亿参数 MoE 模型开放云端调用 · OpenAI 公布欧盟文本溯源方案:水印从研究者切入,逐步扩展到更多场景