vLLM 发布 v0.32.0：结构化决策端点默认开启，低精度 KV 缓存铺向更多显卡架构

vLLM 于 2026-10-18 发布 v0.32.0 正式版，官方记录 814 次提交、363 位贡献者。这次有两条主线：新增 POST /v1/systemone 端点并默认开启，让模型在结构化状态上做决策；低精度 KV 缓存铺到更多显卡架构。同时带来 Model Runner V2 的多项改动、三批安全修复，以及一批需要先升级才能发现的破坏性变更。

这次发布的是什么

vLLM 在 2026-10-18 发布了 v0.32.0，GitHub 上记录的发布时间是 2026-10-18T06:50:48Z，标记为正式版本而非预发布版本；PyPI 上 vllm 的最新版本号同步为 0.32.0。它是自建推理服务里常见的那层推理引擎，负责把权重跑起来并对外提供 OpenAI 兼容的接口。

官方发布说明记录这次共 814 次提交、来自 363 位贡献者，其中 121 位是首次参与。它的上一版 v0.31.0 发布于 2026-10-05，两者相隔约两周。

这次有两条主线。第一条是「结构化决策」——新增 POST /v1/systemone 端点，并且是默认开启的：官方描述它能在一份结构化状态上回答 choice、noul、score 三类问题，同时在 Cloudflare/clef-omni、LiquidAI/d1-3B 与 DiffusionGemma 上可用。第二条是低精度 KV 缓存的适配面扩大：NVFP4 KV 缓存铺到更多显卡架构，GLM-5.x 在 SM100 上默认使用 FP8 KV 缓存，ROCm 侧新增 4 位的 ultraquant_4bit。

剩下的改动分成四块：Model Runner V2 的能力扩充、启动与服务的加速手段、一批新模型支持，以及相当不少的安全修复与破坏性变更。

可用性与限制

• 版本性质：正式发布版本（GitHub 标记为非预发布），PyPI 最新版本已是 0.32.0。
• Python 版本：官方写明移除了 Python 3.10，升级前先确认运行环境版本，具体要求以官方发布页为准。
• 依赖范围：发布说明列出的约束为 transformers 不低于 5.16.1 且低于 5.20.0、tokenizers 不低于 0.23.2；最终以官方依赖文件为准。
• 部署形态：官方给出 PyPI 轮子与 Docker 镜像两类产物，覆盖 CUDA、ROCm、XPU 与 CPU；macOS 只在 CPU 轮的产物清单里出现。
• 获取渠道：PyPI 与 GitHub 发布资产的下载速度受当地网络条件影响，是否需要镜像源请按自己的环境判断。
• 升级风险：这次的破坏性变更偏多（见下文），从旧版本升级应先在测试环境验证，不要直接上生产。
• 与安全相关的默认项变化：跨域请求不再默认允许任意来源；非信任图片被限定在光栅格式；过深嵌套的 JSON Schema 会被拒绝。这些改动可能让沿用旧配置的服务行为发生变化。
• 价格相关：本文不写任何金额；自建推理的成本取决于你自己的硬件与资源方案。

主要功能

• 新增结构化决策端点 POST /v1/systemone，默认随服务提供
• 新增 hf 工具解析器与推理解析器，直接读检查点里的响应模板
• NVFP4 KV 缓存扩展到更多显卡架构，含 XQA 解码路径与稀疏注意力路径
• GLM-5.x 在 SM100 上默认改用 FP8 KV 缓存
• ROCm 新增 4 位的 ultraquant_4bit KV 缓存
• Model Runner V2 加入可变长草稿的 GPU n-gram 投机采样与弹性专家并行
• 新增 vllm download-kernels 命令安装预编译内核
• 新增 vllm preload --preload-autotune 命令复用已知的内核调优结果
• 多副本服务时按负载最轻的接口进程分发连接
• 新增 EmbeddingGemma 2、MiniCPM-V 4.7、Nemotron 3.5 ASR 等模型支持

技术原理

可以从三条技术线来理解这次改动。

第一条是「把决策做成接口」。以前的用法是把一段结构化状态拼进提示词，让模型自己输出结论；现在多了 POST /v1/systemone 这个端点，它在一份结构化状态上直接回答 choice、noul、score 三类问题——官方的原话是「over a structured state」，落到这里就是：调用方负责把状态整理成结构化输入，接口负责给出可机读的选择或分值。这省掉了「模型输出自由文本再自行解析」这一步，代价是你得先把状态结构化。

配套的改动是通用解析器。新增的 hf 工具解析器与推理解析器会去读检查点自带的 response_template，也就是说，凡是检查点里带了这个模板的模型，不必再为它单独写一套解析器。官方说明这条在 Python 与 Rust 两个前端上都生效。对「新模型接进来要先补解析器」这条链路来说，这是一个明显的简化。

第二条是「把显存腾出来」。KV 缓存是长上下文推理里最占显存的一块，把它从高精度压到低精度，同等显存下就能装更长的上下文或更大的并发。这次做的事是把这套压缩铺到更宽的硬件面：NVFP4 覆盖到更多架构，GLM-5.x 在部分架构上直接变成默认行为，ROCm 侧补上了四位精度的 ultraquant_4bit。官方在说明里附了不少对比数字，那些是各自拉取请求里的自测基准，本站不转述；真正要判断收益，得在自己的显卡与自己的上下文长度上跑一次。

第三条是「启动与服务路径上的工程优化」。可以分为三小步：一是把 FlashInfer 的预编译内核用专门的安装命令拉下来，省掉现场编译；二是把内核调优结果固化为可复用的缓存，让重启不必重新调优一遍；三是大模型的多模态张量改用共享内存一次广播给各工作进程，减少重复复制。另外当副本数大于一时，连接会分发到负载最轻的接口进程，这一点对短请求特别明显——同样，官方附的具体数字不在此转述。

实际体验

这篇不提供第一人称实测，只给出读者可以自己复现的验证步骤。

第一步，先确认你拉到的是哪个版本。安装后看一眼实际版本号是否与 0.32.0 一致；如果你用容器部署，注意镜像标签要对应这次的版本号，不同 CUDA 与操作系统组合的标签并不相同，以官方发布页的产物清单为准。

第二步，先只读地过一遍破坏性变更，再决定是否升级。这次列出来的变更包括移除 Python 3.10、收紧跨域默认来源、移除 cascade attention、移除部分 torch.compile 的传递优化环节、修改 mamba 缓存模式取值、改变 max_tokens 与上下文窗口的关系、重命名部分流式事件字段等。逐条对照自己的配置文件与依赖版本号，尤其是「max_tokens 不再从上下文窗口预留」这一条，会直接改变长上下文场景下的可用长度计算。

第三步，单独验一次 new systemone 端点。用一个你熟悉的结构化状态跑一遍，把接口的返回值与你原本靠提示词 + 文本解析得到的结论做对比，看可机读的答案是否稳定。注意它的适用模型清单是有限的，官方点名支持的是几个特定检查点，其余请以官方页面为准。

第四步，验证新解析器。挑一个检查点里带了响应模板、此前需要自写解析器的模型，改用新的 hf 解析器启动，对比工具调用与推理输出是否被正确识别。如果你用的模型没有附带这个模板，这条能力不会生效，仍然需要原来的模型专用解析器。

第五步，分档验证低精度 KV 缓存。不要一步到位：先在非生产环境用你实际的上下文长度跑一遍，观察显存占用与输出质量是否都在可接受范围，再决定是否沿用到正式环境。

第六步，升级之后单独检查安全默认项。跨域来源被收紧意味着原先能直接调通的第三方前端可能被挡；非信任图片被限定格式意味着某些输入会被拒。把这两条放进联调清单，比事后排查省事。

项目地址与获取方式

官方发布说明：https://github.com/vllm-project/vllm/releases/tag/v0.32.0

官方仓库：https://github.com/vllm-project/vllm

Python 包索引：https://pypi.org/project/vllm/

官方给的安装方式（以发布页当期写法为准）：CUDA 环境用「pip install vllm」；容器环境拉对应标签的官方镜像；ROCm 与 XPU 需要按官方发布页给出的额外索引地址安装。

请通过官方渠道获取安装包与镜像，避免安装被篡改的版本；容器镜像拉取后建议核对官方发布页提供的校验信息。

适合谁用

• 自己在本地或私有环境部署开放权重模型、且对显存占用敏感的团队
• 正在做智能体编排、需要模型在结构化状态上给出可机读选择或分值的人
• 要给新模型接入推理服务、此前常要自写工具解析器的工程人员
• 已经在跑较旧版本、准备规划升级窗口的运维
• 不必用的情况：只用云端接口、不涉及自建部署 —— 这次的改动都在自建侧，对你基本无感

常见问题

这算大版本更新还是常规版本？

是常规版本。它到此为止的版本序列是 v0.31.0（2026-10-05）到 v0.32.0（2026-10-18），属于这条线上的例行发版，只是这次的改动量偏大：官方记录 814 次提交、363 位贡献者。版本号本身仍带有 0.x 前缀，接口稳定性请以官方文档的表述为准。

新增的那个决策端点会替换原来的调用方式吗？

按官方说明，它是新增端点并且默认随服务提供，原来的调用方式仍然有效。它的定位是把「给一段结构化状态、要一个可机读的答案」这类需求从提示词拼接里剥离出来，而不是替代已有的生成接口。要不要迁移取决于你的场景是否需要稳定的结构化输出。

低精度 KV 缓存需要我自己打开吗？

分情况。部分架构上仍是按需开启的选项；官方也写明某些模型系列在特定架构上变成了默认行为。这意味升级后即使不改配置，显存占用与数值精度也可能发生变化。建议先在测试环境按你实际的上下文长度验证一次输出质量，再决定是否继续沿用。

升级后有哪些地方最容易出问题？

按官方列出的破坏性变更，优先级最高的是三类：一是运行环境版本要求变了（Python 3.10 被移除）；二是不少曾经可用的编译与注意力相关选项被移除，配置文件里若仍写着这些键可能直接失败或报错；三是max_tokens 与上下文窗口的关系变了，长上下文场景下的可用长度会跟着变。把这些放进升级清单逐条核对。

官方给出的性能提升数字要信吗？

宜谨慎。那些数字来自各拉取请求里的自测基准，换到你自己的模型、显卡、上下文长度与并发下不一定成立；本站也不转述这类数字。要判断就用你自己的任务跑一遍，重点看显存峰值、首字延迟与输出质量这三项是否同时满足要求。

相关工具与内容

• 工具页：Claude Code、Cursor、Dify
• 分类：AI编程、AI智能体、其他AI工具
• 同题材快讯：vLLM v0.31.0 发布
• 延伸阅读：transformers v5.20.0 发布、DeepSeek V4.1-Flash-1017 发布