ggml-org 于 2026 年 11 月 13 日发布 llama.cpp v1.0.0 正式版(GitHub REST API published_at 为 2026-11-13T10:20:19Z,非预发布)。发布说明写到:移除弃用的公开 API 并把 NextN 推测解码接口提升到 llama.h,新增 OCP FP8 KV 缓存、可配置 CPU 占比的主机内存 MoE 专家缓存与外部 PLE 分片加载;新增三种文本架构、drama-3 语音合成与两类视觉支持;加固 llama-server 的 SSRF、CORS、DNS 重绑定与 MCP 工具取消处理并加入 /v1/audio/speech 端点;网页界面改为带聊天分组与 Markdown 编辑器的版本,ggml 同步到 v1.0.0。同日另有 b123xx 自动构建,按本站口径不写成篇。发布说明含基准与性能数字,本文不转述。
llama.cpp 发布 v1.0.0:清理弃用 API,补上 FP8 KV 缓存与语音端点
这次发布的是什么
ggml-org 于 2026 年 11 月 13 日发布 llama.cpp v1.0.0 正式版。核对方式是回 GitHub 官方接口读该 tag 的记录:published_at 为 2026-11-13T10:20:19Z,prerelease 与 draft 均为 false,发布说明正文约两万九千字符,按 API 变更、新模型、核心改动、多模态改动、服务端改动、界面改动与 ggml 改动分节列出,并附自 v0.9.0 以来的变更清单。
需要先说明两点。其一,仓库的 releases.atom 把这条的 updated 写成当天更晚的时间,那是条目编辑刷新,按本站既有纪律一律以官方接口的 published_at 为准;同日仓库还有 v1.0.0-b12359 前缀的版本与 b12363 至 b12373 一串自动构建,那些是持续集成产物,不是本次正式版,本文不合并叙述。其二,这是本地推理引擎的版本发布,不是新基础模型发布;发布说明里出现的新架构名称指的是引擎新增支持的模型结构。
发布说明里有基准与性能数字,本站按硬约束不转述分数、倍数与评分,也不替官方加「全面可用」之类的阶段判断。构建要求、硬件适配与后续版本节奏以官方仓库当前说明为准。
可用性与限制
- 发布时间:官方接口 published_at 为 2026-11-13T10:20:19Z,prerelease=false / draft=false
- 版本性质:v1.0.0 正式 tag,不是候选版;同日的 b123xx 与带 commit 前缀的构建属自动构建
- 兼容性提示:发布说明写明移除了弃用的公开 API,含 llama_set_warmup、若干弃用函数以及 defrag_thold 与对应命令行参数
- 接口迁移:NextN 推测解码接口从扩展头提升到 llama.h,另有函数更名,调用方需按发布说明对照
- 参数变化:llama_context_params 新增 MoE 缓存大小与 CPU 占比两项配置
- 服务端变化:新增语音端点,并对 SSRF、CORS、DNS 重绑定与 MCP 工具取消处理做了加固
- 多模态变化:新增语音合成类型与重采样辅助接口,可用范围按官方说明核对
- 未给出项:完整硬件与后端适配清单、各架构的权重获取方式、升级回滚步骤,以官方仓库为准
- 境内下载与镜像可用性:官方发布页未给出完整口径,以官网为准
主要功能
- 清理弃用的公开接口并统一推测解码入口
- 加入 OCP FP8 格式的 KV 缓存
- 提供可配置 CPU 占比的主机内存 MoE 专家缓存
- 支持加载外部 PLE 分片与新增三种文本架构
- 增加语音合成与两类视觉支持
- 为 llama-server 增加语音端点并加固多处请求处理
- 更新网页界面并同步 ggml 到 v1.0.0
技术原理
发布说明把改动分成几层,可以按调用链来理解。最靠近 API 的一层是接口收敛:llama.h 移除了 llama_set_warmup、三十余个弃用函数以及 defrag_thold 与对应命令行参数,同时把 NextN 推测解码接口从扩展头提升到 llama.h,并把一个状态设置函数更名。对直接调用 C 接口的集成方来说,这一层是升级时最需要逐条比对的部分;发布说明附了对应变更编号便于回查。
再往里是记忆与算力管理:新增 OCP FP8 格式的 KV 缓存,用更低精度的格式存放注意力缓存;新增主机内存中的 MoE 专家缓存,并提供缓存大小与 CPU 占比两个配置项,用来在显存与主机内存之间分配专家权重;还加入外部 PLE 分片的加载能力。官方把这些列在「核心改动」里,没有在概览中给出量化收益,因此本文只写机制,不转述性能数字。
模型与多模态侧,发布说明写新增三种文本架构,以及 drama-3 语音合成、MageVL-Cowork 与 Kimi-K3.1 视觉支持;mtmd.h 增加对应音频生成类型与温度参数,mtmd-helper.h 增加用于按模型采样率流式输出原始 PCM 的重采样辅助接口。服务端侧,llama-server 新增兼容 OpenAI 风格的 /v1/audio/speech 端点,并为 /tts 增加温度选项,同时针对 SSRF、CORS、DNS 重绑定与 MCP 工具取消处理做了加固。网页界面改成带聊天分组与 Markdown 编辑器的版本,底层张量库 ggml 同步到 v1.0.0。具体编译开关、参数默认值与后端适配以官方仓库为准,本文不补未核实的配置步骤。
实际体验
能核对的是官方发布说明列出的可复现检查点,不是本站的实测结论。读者回 tag 页可逐项对照:概览里那几句是否与实际分节一致;API 变更里被移除的函数名与更名项是否出现在自己项目的调用点;新增的两个上下文参数是否在头文件里;服务端语音端点与 /tts 的温度选项是否写在对应分节;以及资产、更多信息与自 v0.9.0 以来的变更清单是否齐全。
对集成方而言,这次版本最需要提前做的是兼容性自检。移除弃用接口意味着旧调用点可能在编译阶段就报错,NextN 接口提升与函数更名也要求同步改 include 与符号名;相比之下,新增的 KV 缓存格式、专家缓存与语音端点属于可以按需启用的能力。官方还单独给出一篇配套博客链接用于说明这个大版本的设计背景,可作为理解动机的补充材料。
另一点是别把同日的自动构建当成这次正式版。发布页附近存在一串 b 开头的条目与带 commit 前缀的条目,按本站既有纪律,持续集成产物与开发版不单独成篇,也不作为版本发布时间的依据;判断口径是回官方接口看 prerelease、draft 与 published_at。发布说明里的基准与性能数字本文不转述,硬件适配、构建前置条件与后续修复以官方仓库当前版本为准。
项目地址与获取方式
代码与发布包在 GitHub 的 ggml-org/llama.cpp 仓库,正式版本入口是 v1.0.0 的 tag 页;发布说明里另给出配套博客链接与自 v0.9.0 以来的变更清单,便于升级前逐条比对。按官方仓库的说明获取源码、构建产物与预编译资产,具体构建前置条件、编译开关与资产适用范围以仓库当前版本为准。请通过官方仓库与官方发布页获取,避免使用来源不明的镜像、打包版或预编译二进制;涉及模型权重时同样以官方渠道为准,并自行核对许可条款。
适合谁用
- 直接调用 llama.h 等公开接口、需要按本次 API 清理做迁移的本地推理集成方
- 在本地跑大模型、关注 KV 缓存与 MoE 专家在显存和主机内存之间如何分配的使用者
- 用 llama-server 提供服务、需要语音端点或关心服务端请求加固的团队
- 需要在同一引擎里覆盖新增文本架构、语音合成与视觉输入的开发者
- 只通过上层应用间接使用、由上游统一分发版本的用户可等上游适配;期待开箱即用新模型权重的读者也不宜把这个版本当成模型发布
常见问题
这是新模型发布吗?
不是。v1.0.0 是本地推理引擎 llama.cpp 与底层张量库 ggml 的版本发布,改动集中在公开接口、缓存机制、服务端端点、网页界面与引擎新增支持的模型结构。发布说明里列出的新架构名称指的是引擎侧新增的适配,不代表 ggml-org 发布了新的基础模型权重。权重获取方式与许可以对应模型提供方与官方仓库说明为准。
升级到 v1.0.0 需要注意什么?
按发布说明,最需要注意公开接口的清理:llama.h 移除了 llama_set_warmup、三十余个弃用函数以及 defrag_thold 与对应命令行参数;NextN 推测解码接口从扩展头提升到 llama.h,另有一个状态设置函数更名。若项目直接调用这些 C 接口,应先对照发布说明逐条检查调用点与 include,再评估新增的两个上下文参数是否需要配置。具体编译错误与迁移步骤以官方仓库当前文档为准。
同日还有一串 b 开头的发布,算同一个版本吗?
不算。官方接口显示 v1.0.0 的 published_at 为 2026-11-13T10:20:19Z,且 prerelease 与 draft 均为 false,正文按正式版本分节撰写;同日那些 b 开头以及带 commit 前缀的条目属于持续集成自动构建或开发版,按本站口径不写成篇,也不作为发布时间依据。另外 releases.atom 的 updated 是编辑刷新时间,会比接口时间更晚,判断时以官方接口为准。
为什么本文不写性能提升和基准数字?
发布说明里含基准与性能类数字,而这类数据依赖具体硬件、后端、量化格式与测试条件,属于本站快讯明确不转述的易变信息。本文只保留可核对的事件状态与机制:正式版发布时间、接口清理、缓存与分片机制、新增端点与加固方向、界面与底层库版本同步。具体数值、硬件要求与构建参数一律以官方仓库当前版本为准。
相关工具与内容
站内 AI 编程分类、AI 智能体分类 与 其他 AI 分类 汇总了相关工具;Cherry Studio 工具页、ComfyUI 工具页 与 Dify 工具页 可对照本地模型客户端与编排侧的不同用法。脉络上可看 Ollama v0.40.14 发布、Ollama v0.40.16 Ripple 预览、Ollama 决策模型 与 Open WebUI 编码智能体进入模型选择器。
相关内容
AWS Quick 同日三组更新:插件打包智能体与技能,网页端与 Flows 打通跨端工作流
AWS 在 2026 年 11 月 20 日至 21 日连续发布三条 AWS Quick 更新:插件可把智能体、技能、连接器与流程打包成一次安装的单元;网页端把桌面体验搬进浏览器,并更新浏览器扩展与 Microsoft 365 加载项;Flows 支持用对话构建自动化,并加入确定性步骤与输出校验。官方用户指南说明 Quick 由 Amazon QuickSight 演进而来,原有 QuickSight 接口与集成继续可用。
Amazon Bedrock 网页搜索新增五种语言与国别字段:按用户所在国偏置检索来源
AWS 于 2026 年 11 月 21 日宣布 Amazon Bedrock 的 Web Search 工具新增西班牙语、法语、德语、意大利语和日语,并支持非美式英语;同时加入可选的国家字段,用 ISO 3166-1 alpha-2 代码把检索来源偏置到指定国家。现有客户无需改代码即可获得语言能力,可用区域与数据驻留口径以官网为准。
Transformers v5.24.0 发布:纳入十个新模型架构,缓存参数改名进入兼容期
Hugging Face 于 2026 年 11 月 21 日发布 Transformers v5.24.0,正式版标注为 prerelease=false。本次新增 Inkling 2 Mini、Apertus 1.5、Omnilingual ASR、HY4-VL 等十个模型架构支持,同时把 past_key_values 与 cache_params 统一改名为 cache,并给出跨版本的兼容时间表。
继续阅读:Google 智能眼镜开放预购:Gemini 进镜框,并同步公布旁人隐私设计 · Claude Code v2.1.323 加入 Code Mode:让模型写 JavaScript 调用工具