">

vLLM v0.34.0:可扩展 KV 缓存转为默认,Model Runner V1 移除并附一组升级前检查项

vLLM 于 2026 年 11 月 16 日发布 v0.34.0:新增多个模型支持,把可扩展 KV 缓存改为默认开启,移除 Model Runner V1、只保留 V2 作为 GPU runner,并把默认 block size 从 16 改为 64。官方专门列出一组「升级前」破坏性变更,包括移除 VLLM_USE_V2_MODEL_RUNNER 开关、不再发布 ROCm 7.2 镜像、抬高 huggingface_hub 等依赖的最低版本,以及移除若干量化与模型条目。另补上检查点与恢复端点、DP 加 EP 容错缩容等服务端能力。官方发布说明里对 XPU 安装行留有一条待确认备注,本文不转述该命令,列为未核实点。性能倍数、成本降幅与提交数一律不转述,具体指标与价格以官网为准。

这次发布的是什么

开源推理与服务引擎 vLLM 于 2026 年 11 月 16 日发布 v0.34.0。按官方 GitHub Release 页与 REST API 的记录,该版本标签为 v0.34.0,发布时间为 2026-11-16T23:22:00Z,标记为 prerelease=false、draft=false,属已发布的版本条目,不是预发布或草稿。这次是引擎侧的一次大版本更新:新增多个模型支持、把可扩展 KV 缓存转为默认行为、移除旧的 Model Runner V1,并附带一组会影响既有部署的升级前检查项。

需要先划清几条边界。其一,这不是一次新模型发布:发布说明里列出的是 vLLM 新增支持的模型,模型分别归属各自厂商,官方页没有把其中任何一个写成 vLLM 自研模型,站内也已有相关模型发布专稿,不要读成又一次模型发布。其二,官方 Release 页没有标注 GA 或公测一类的成熟度标签,本文不替它断言阶段。其三,站内此前写过 vLLM 0.31.0 与 0.32.0 的发布稿,本条是后续版本的独立更新,改动集中在默认值、runner 结构与升级兼容性,不是那两次的重复。其四,官方发布说明里对 XPU 那条安装命令留有一条待确认备注,说明该行是否仍可解析尚需复核;本文不转述这条命令,只写「以官方当前文档为准」,并把这一点列为未核实项。

可用性与限制

  • 记录时间:GitHub Release 的 published_at 为 2026-11-16T23:22:00Z,官方页未另写日期
  • 发布状态:REST API 标记 prerelease=false、draft=false,属已发布的版本条目
  • 成熟度:官方页未标 GA 或预发布成熟度,本文两边都不写
  • runner 变更:Model Runner V1 已移除,GPU runner 只保留 V2 这一条路径;原先用来退回 V1 的 VLLM_USE_V2_MODEL_RUNNER=0 现在启动即失败
  • 默认块大小:默认 block size 从 16 改为 64;想保留旧行为需显式传 --block-size 16,官方注明 ROCm 分页注意力仍用 16
  • 显存口径:gpu_memory_utilization 默认改为 1.0;官方给出 --gpu-memory-utilization 0.9 或 --no-enable-extensible-kv-cache 两种保留旧尺寸的做法
  • 平台镜像:ROCm 7.2 的镜像与 wheel 不再发布,改用 ROCm 10.0;带 rocm72 后缀的产物不再提供
  • 依赖门槛:huggingface_hub 需不低于 2.0.0,官方另列出 tokenizers 与 timm 的最低版本,以官方当前说明为准
  • 移除项:QuTLASS 与 fp_quant 检查点不再可加载,Marlin W4A8 移除,Keye-VL 与 Keye-VL-1.5 移除
  • 未核实项:官方发布说明里对 XPU 安装行留有一条待确认备注,本文不转述该命令,以官方当前文档为准
  • 指标口径:官方正文含性能倍数、成本降幅、提交数与贡献者数,按本站口径不转述,一律以官网为准
  • 未给出项:可用地区、配额、商业支持范围与完整参数表,官方发布说明未逐项展开,以官网为准

主要功能

  • 新增多个模型支持,覆盖文本、语音转写与多模态方向
  • 可扩展 KV 缓存默认开启,按预热后实际空闲显存来定尺寸
  • 只保留 Model Runner V2 作为 GPU runner
  • 推测解码侧补上 suffix decoding、自定义 speculator 的声明式配置与插件注册接口
  • 服务运维侧补上检查点与恢复的三个端点,以及 DP 加 EP 的容错缩容
  • NUMA 绑定默认改为尽力而为地开启,另提供可选的缓存感知准入排序
  • Rust 前端补上无状态 Responses API 与一次请求返回多个候选
  • 默认 block size 改为 64,并提供 CUDA、ROCm、XPU、CPU 的 wheel 与容器镜像
  • 官方给出完整的升级前变更表与对应 PR 编号,便于逐条核对

技术原理

按官方发布说明,这次最核心的机制变化在 KV 缓存的定尺寸方式。此前缓存大小来自一次估算;改为默认开启的可扩展 KV 缓存后,引擎在 CUDA graph 捕获与预热完成之后,用实际剩余的空闲显存来决定缓存大小,因此同一张卡上多数模型能拿到更大的缓存。官方同时写明这是一项有取舍的变更:缓存变大有利于高并发下的吞吐与首 token 延迟,但某些模型上单 token 解码延迟可能上升,所以保留了退出开关与旧的显存比例参数。本文只陈述这个方向与官方给出的退出方式,不转述官方正文里的具体幅度。

第二处结构变化是 runner 收敛。Model Runner V1 被移除,GPU runner 只保留 V2 这一条路径,原先 dual-batch overlap 一类能力也随之并到 V2 上;官方还把推测解码的若干实现细节一并调整,包括 draft 模型的 KV 缓存与目标模型的数据类型对齐、为 draft-model speculator 加 CUDA graph、以及把 suffix decoding 改为 V2 上带 GPU speculator 运行,不再依赖此前那个外部推理库。这些是引擎内部执行路径的调整,不是对外接口换了一套。

服务端的变化集中在可运维性:官方列出检查点准备、状态查询与恢复三个端点,Python 与 Rust 两个前端都可用;DP 加 EP 部署里某个 rank 失效时,可在不重启的情况下移除该 rank 并重新分配专家;另有 NUMA 绑定与可选的缓存感知准入排序。官方没有在发布说明里展开上述实现的内部机制,本文不补未核实的实现细节;要看参数定义与配置方法,以官方当前文档为准。

实际体验

这里能核对的是官方 Release 页、REST API 元数据与升级前变更表,不是本站的实测结论。复核路径有三条:到 v0.34.0 的 Release 页看 tag、发布时间、prerelease 与 draft 标记以及 TL;DR 与升级前表格;按官方给出的 PR 编号逐条回看改动来源;再到官方安装段与文档核对当前可装版本与依赖门槛。这三条都不需要部署集群就能复现。

对既有使用者最实际的影响是:升级之后,凡是依赖旧默认值的部署,行为会在不改配置的情况下变化 —— 默认块大小、显存比例、KV 缓存定尺寸方式、runner 结构一起变了。这是升级时最容易漏掉的一步。官方专门用一张「升级前」表格列出破坏性变更与对应做法,建议按表逐项对照自己的启动参数,尤其是还在用 V1 回退开关、pin 了 ROCm 7.2 镜像、或环境里 huggingface_hub 版本偏低的情况。官方没有给出一键迁移脚本或兼容性开关的清单,本文不补未核实的迁移步骤。

另一处容易读错的是发布说明里的性能段落:整段都是特定硬件、特定模型下的对照数字。按本站口径这类倍数与分数不转述,也不据此推断自己环境的表现,实际指标以官方当前文档与自测为准。还有 XPU 那条安装命令旁的待确认备注 —— 官方自己都还没确认它是否仍可解析,把它当成「照抄即可用」会踩坑,所以本文只指向官方当前文档。

项目地址与获取方式

官方入口是 GitHub 上的 vllm-project/vllm 仓库与 Releases 页,本次版本对应 tag v0.34.0;发布说明里给出新增模型表、升级前变更表、各条改动对应的 PR 编号,以及完整的变更清单,可逐条核对。安装段按平台列出 Python wheel 与容器镜像:CUDA 走 PyPI 的 pip install vllm,ROCm、XPU 走官方额外索引,容器镜像以 vllm/vllm-openai 加版本号标记,另有 CPU 与带 EFA 的变体。XPU 那条安装命令官方自己标了待确认,本文不转述。请通过官方仓库、官方包索引与官方镜像获取代码与安装包,避免安装被篡改的版本,也不要把第三方镜像或转封装服务当作来源。依赖版本、可用平台、配额与价格一律以官网为准。

适合谁用

  • 自建 vLLM 服务、需要评估版本差异与升级风险的推理平台团队
  • 关心显存利用率与高并发下 KV 缓存尺寸的部署工程师
  • 使用推测解码、自定义 speculator 或 EP 并行的开发者
  • 需要检查点与恢复、容缩容等服务端能力的运维团队
  • 只调用托管推理接口、并不自己跑引擎的项目,这次默认变更影响有限;仍在使用 ROCm 7.2 镜像、V1 回退开关或 fp_quant 检查点的部署,建议先按官方升级前表格逐项核对再决定升级节奏

常见问题

这次是 vLLM 发布了新的自研模型吗?

不是。发布说明里列出的是 vLLM 新增支持的模型选项,模型分别归属各自的厂商,官方页没有把其中任何一个写成 vLLM 自研模型。判断口径也简单:看发布主体是模型厂商的发布页,还是推理引擎的版本条目,本条是后者。各模型的规格、账号与可用范围以各自官网为准,本文不替它们补。

升级前最容易漏掉哪几处?

按官方「升级前」表格,至少四处要对照:一是 VLLM_USE_V2_MODEL_RUNNER=0 这个退回 V1 的开关已导致启动失败,需移除并把 V1 的 logits processor 迁到新的模块路径;二是默认 block size 从 16 变为 64,想保留旧行为要显式传参数;三是 ROCm 7.2 产物不再发布,需换到 10.0;四是 huggingface_hub 及配套依赖抬高了最低版本。官方没有给一键迁移脚本,具体做法以其当前文档为准。

这和站内那篇 vLLM 0.32.0 发布稿是同一件事吗?

不是。0.31.0 与 0.32.0 是此前的版本条目,各有自己的改动清单;v0.34.0 是后续版本的独立更新,主线是可扩展 KV 缓存转默认、Model Runner V1 移除、默认块大小变化与一组升级前检查项。想看前两次的细节可以读站内的对应发布稿,不要把这三次混成一次改动。

官方页没写 GA,能说它已经全面正式可用吗?

不能据此断言。官方 Release 页没有标注 GA 或公测一类的成熟度标签,REST API 只标记了 prerelease=false、draft=false,说明这是一条已发布的版本条目。本文按「已发布版本」陈述,不替官方补阶段判断;可用平台与生产适用性的完整口径,以官方当前文档为准。

相关工具与内容

站内 AI 编程分类 与 AI 智能体分类 汇总了同方向的开发侧工具,Dify 工具页、n8n 工具页 与 LangChain 工具页 可对照上层编排与应用搭建的形态差异。脉络上建议连着看 vLLM 0.32.0 发布、llama.cpp v1.0.0 发布、llama.cpp v1.0.0 升级实操、Ollama v0.40.16 预览支持 与 Vercel AI Gateway 接入 DeepSeek 检索工具,几篇分别对应引擎版本迭代、本地推理、升级迁移与上层网关这几条不同的读者线。本轮同批另有网关与云检索两篇,属不同厂商与不同层次,不要混为一次发布。

Related
快讯 13 小时前

AWS Quick 同日三组更新:插件打包智能体与技能,网页端与 Flows 打通跨端工作流

AWS 在 2026 年 11 月 20 日至 21 日连续发布三条 AWS Quick 更新:插件可把智能体、技能、连接器与流程打包成一次安装的单元;网页端把桌面体验搬进浏览器,并更新浏览器扩展与 Microsoft 365 加载项;Flows 支持用对话构建自动化,并加入确定性步骤与输出校验。官方用户指南说明 Quick 由 Amazon QuickSight 演进而来,原有 QuickSight 接口与集成继续可用。

前沿快讯 17 阅读
快讯 13 小时前

Amazon Bedrock 网页搜索新增五种语言与国别字段:按用户所在国偏置检索来源

AWS 于 2026 年 11 月 21 日宣布 Amazon Bedrock 的 Web Search 工具新增西班牙语、法语、德语、意大利语和日语,并支持非美式英语;同时加入可选的国家字段,用 ISO 3166-1 alpha-2 代码把检索来源偏置到指定国家。现有客户无需改代码即可获得语言能力,可用区域与数据驻留口径以官网为准。

前沿快讯 17 阅读

继续阅读:GitHub Copilot 于 11 月 16 日下线三款模型:迁移口径与两条例外说明 · browser-use 1.0.6:默认模型切到 BU 4.0,未指定 llm 时成本口径变化

关于本文:本站文章由编辑部独立撰写,评测口径与免责说明见关于我们。想继续找工具,可从分类导航按场景浏览,或回首页搜索。

链接已复制