NVIDIA Nemotron 3.5 Lightning 在 Vercel AI Gateway 免费上线：30B 模型、百万 token 上下文

Vercel 在 2026 年 10 月 14 日的更新日志中宣布，NVIDIA 的 Nemotron 3.5 Lightning 已在 AI Gateway 上免费提供，模型标识为 nvidia/nemotron-3-5-lightning-free。官方给出的规格是 30B 参数、每 token 激活 3B，采用 Mamba-2 与 MoE 层交错的混合架构，拥有 100 万 token 上下文窗口，并支持工具调用与结构化输出，面向长任务智能体、子智能体、聊天机器人与检索增强生成场景。

这次发布的是什么

Vercel 在 2026 年 10 月 14 日的更新日志里宣布，NVIDIA 的 Nemotron 3.5 Lightning 已经可以在其 AI Gateway 上免费调用，模型标识是 nvidia/nemotron-3-5-lightning-free，由 NVIDIA 提供服务。这不是又一款需要单独开户的模型，而是通过网关统一入口直接可用。

Nemotron 3.5 Lightning 被 NVIDIA 定位为一款开源权重的推理与聊天模型，面向长任务智能体、子智能体工作、聊天机器人与检索增强生成系统。对已经在用 Vercel AI Gateway 的人来说，这次的意义是「换模型标识即可试用」，不需要再单独建一个 NVIDIA 账号。

对工具站读者更实用的两点：一是它现在免费提供，二是它明确支持工具调用与结构化输出，这两点正好契合要把模型接进智能体工作流的需求。

可用性与限制

• 调用入口：通过 Vercel AI Gateway，模型标识为 nvidia/nemotron-3-5-lightning-free，用一把网关密钥即可。
• 免费档：官方写明本次上线的是免费版本，具体额度与速率限制以网关官方文档为准。
• 调用方式：支持 AI SDK、Chat Completions、Responses、Messages 接口，以及连接到网关的编码智能体。
• 数据提示：官方注明服务方可能保留提示词用于模型改进，对数据合规有要求的团队要自行评估。
• 上下文窗口：官方写明为 100 万 token，是否按请求分档限制以网关文档为准。
• 厂商其他模型：NVIDIA 是否在同一网关提供 Nemotron 3.5 的其他付费或更大版本，以官方模型目录为准。
• 价格随官方调整变动，本文不转述任何费用信息。

主要功能

• 开源权重推理模型：NVIDIA 把它定位为可自部署的推理与聊天底座
• 长任务智能体：官方点名适用于长时程智能体、子智能体工作
• 工具调用：支持在流程中调用外部工具，这是智能体型应用的基础能力
• 结构化输出：便于把结果直接交给下游程序处理
• 百万 token 上下文：官方给出的上下文窗口为 100 万 token
• 检索增强生成：官方把 RAG 列为适用场景之一

技术原理

官方更新日志能确认的技术信息主要有三点。

第一是架构。Nemotron 3.5 Lightning 是 30B 参数的模型，但每 token 只激活 3B，采用混合专家设计：在 MoE 层之间交错 Mamba-2 层，再辅以少量注意力层。这种「部分激活 + 状态空间模型与注意力混合」的写法，常见于追求高吞吐与长上下文的推理模型。

第二是长上下文。官方给出的上下文窗口是 100 万 token，这让它适合需要整库资料或长文档输入的智能体任务。

第三是接口形态。它走网关的统一调用方式：一把网关密钥，通过 AI SDK 或兼容接口调用，不需要在 NVIDIA 一侧另建账号。这意味着鉴权、限流、用量统计都由网关这一层统一处理。

需要提醒的是，免费档的实际速率限制、单次请求上限与数据保留策略以网关文档为准；评测性质的性能对比以官方或第三方可复现的基准为准，本文不替厂商下结论。

实际体验

按下面几步，用你自己的提示词就能复核，不需要真实业务数据：

1. 打开网关更新日志，确认页内日期为 14 Oct 2026，并确认写的是已免费可用而不是即将上线。
2. 在网关模型目录里检索 nvidia/nemotron-3-5-lightning-free，确认该标识可被检索到。
3. 用一段纯文字提示词调用一次，确认返回正常，再比较响应质量与耗时。
4. 用一次需要工具调用的任务，确认模型输出的工具调用结构可被你的代码解析。
5. 用一次要求 JSON 等固定格式的任务，确认结构化输出是否稳定。
6. 若打算用于生产，再去网关官方文档核对速率限制、数据保留条款与计费口径。

任何一步与上文描述不符，先确认模型标识与所用调用方式是否一致，再回到官方文档核对。

项目地址与获取方式

官方更新日志：https://vercel.com/changelog/nemotron-3-5-lightning-now-available-on-ai-gateway-for-free

模型目录与调用文档以 Vercel AI Gateway 官方页面为准。请通过官方渠道获取密钥；速率限制、数据保留与计费口径以官方文档为准，本文不转述。

适合谁用

• 已经在用 Vercel AI Gateway 的人：换模型标识即可试用，不需要另建厂商账号。
• 做长任务智能体与子智能体编排的人：官方把这两类场景写进了定位。
• 需要百万 token 上下文处理长文档或整库资料的人：窗口规格正好覆盖这类需求。
• 需要工具调用与结构化输出的应用：这两项官方明确支持。
• 预算敏感、想先用免费档验证路线的人：本次上线的是免费版本。
• 不适合要求完全自托管或数据不出网的人：免费档由 NVIDIA 经网关提供，官方注明可能保留提示词用于模型改进。

常见问题

这是正式可用还是预告？

正式可用。Vercel 更新日志写明该模型已在 AI Gateway 上免费提供，并给出了模型标识 nvidia/nemotron-3-5-lightning-free，可直接调用。

需要单独的 NVIDIA 账号吗？

不需要。官方说明该模型通过 Vercel AI Gateway 调用，用一把网关密钥，无需另建 NVIDIA 账号。

参数和上下文是多少？

官方写明模型为 30B 参数、每 token 激活 3B，采用 Mamba-2 与 MoE 层交错的混合架构，上下文窗口为 100 万 token。更细的部署与分档限制以官方文档为准。

支持工具调用和结构化输出吗？

支持。官方把工具调用与结构化输出都列为该模型的能力，适合接进智能体工作流。

免费档有什么要注意的？

官方注明服务方可能保留提示词用于模型改进。速率限制、数据保留与是否后续计费以网关官方文档为准，本文不转述具体费用。

相关工具与内容

• 分类：AI 智能体、AI 编程、AI 对话
• 工具页：Grok、Cursor、Gemini
• 同题材快讯：Grok 4.7 上 Amazon Bedrock、MAI-Image 2.6 上线网关
• 延伸阅读：Gemini 4 Argon 发布