NVIDIA Cosmos 扩充世界模型的训练、评估与部署工具

NVIDIA 在 GTC Berlin 期间扩充 Cosmos 平台：Cosmos Data Factory 新增五个云原生蓝图，Cosmos Framework 的训练与优化工具以智能体技能形式扩展到更多开放模型，并新增面向仿真的 Cosmos 3 Nano 变体。

这次发布的是什么

NVIDIA 在 GTC Berlin 期间宣布扩充 Cosmos 平台，新增一批训练工具、仿真检查点，以及 Cosmos Data Factory 蓝图。Cosmos 面向的是世界模型——帮助物理 AI 系统理解并模拟现实世界的模型。官方博客页标注的发布日期是 2026 年 10 月 21 日，RSS 同步时间为 10 月 22 日。

这次扩充围绕三段链路展开：先把多模态、多传感的数据准备好，再训练与适配模型，最后在仿真里测试策略并部署。

可用性与限制

• 形态：Cosmos Data Factory 的蓝图与 Cosmos Framework 的训练、优化与部署工具已开放，开发者可从 GitHub 获取，也可通过 Microsoft Azure、Nebius 与 CoreWeave 使用。
• 数据侧：Cosmos Curator 新增对多模态多传感输入与处理模块的支持。
• 训练侧：Cosmos Framework 的训练、优化与部署工具以智能体技能的形式扩展到更多开放模型，并与 Cosmos 3 配合使用。
• 仿真侧：新增面向仿真的 Cosmos 3 Nano 模型变体，配套代码允许开发者在多视角多传感场景下测试自动驾驶与双臂机器人策略。
• 部署侧：Cosmos 3 的 NIM 微服务已更新。
• 口径说明：官方博客引用了若干伙伴与客户的实测比例，本文不作转述；实际效果请以自身数据与官方资料为准。

主要功能

• 自动驾驶数据集生成：筛选并标注驾驶数据，再补充难采集场景的合成样本。
• 图像属性增强：改变物体外观，提升图像检索效果。
• 事件视频生成：把静态图像转成罕见或不安全事件的合成视频。
• 缺陷图像生成：生成电路板、金属与玻璃的缺陷图像，供检测模型训练。
• 视频数据增强：在保持场景结构的前提下改变天气与光照。
• 对 GR00T、Alpamayo、QWEN、Pi0.5 等开放模型做微调与强化学习适配。
• 用蒸馏与量化压缩模型，再部署推理。

技术原理

世界模型对训练数据的要求与文本模型不同：需要多模态、多传感的连续观测。Cosmos Data Factory 把标注、筛选、增广与评估这几件事做成可组合的流程，五个蓝图各自对应一类数据难题——事件视频生成把静态图像转成罕见或危险事件的合成视频，用来补真实数据里采不到的样本；视频数据增强则在保持场景结构的前提下改变天气与光照。

训练侧，Cosmos Framework 把训练与优化流程封装成智能体技能，让开发者与智能体都能对开放模型做后训练。官方给出的参考流程是：先微调或强化学习适配，再用蒸馏与量化压缩，最后部署推理。仿真侧的 Cosmos 3 Nano 变体用于闭环评估，让策略在可复现的仿真场景里先跑一遍再上真机。

实际体验

想快速判断这套工具是否用得上，可以从数据缺口倒推：先列出真实数据里采不到、但又必须覆盖的场景——危险事件、罕见缺陷、极端天气——再对照五个蓝图的名字看是否有对应项。

验证时建议先只跑一个蓝图，用自己现有的一小批数据看产出质量，再决定是否扩到整条流水线。硬件方面，数据工厂依赖 GPU 加速，云端蓝图可以由 Azure、Nebius 与 CoreWeave 承担这部分资源。

项目地址与获取方式

官方渠道：NVIDIA 官方博客的 Cosmos 公告页、GitHub 上的 cosmos-data-factory 与 cosmos-framework 仓库、NGC 目录中的 Cosmos 3 NIM 微服务，以及 build.nvidia.com 上的 Metropolis 视频检索与摘要蓝图。请通过官方渠道获取模型与代码，避免从非官方镜像安装被篡改的版本。

适合谁用

• 训练自动驾驶与机器人策略、缺罕见场景数据的团队。
• 需要批量生成缺陷样本做工业检测的制造业团队。
• 已有开放模型、想做后训练与压缩优化的研究与工程团队。
• 在闭环仿真里评估策略、希望先仿真后上真机的机器人团队。
• 不适合：只需要通用文生视频效果的创作者，这套工具面向物理 AI 与仿真，不是面向内容创作的产品。

常见问题

Cosmos Data Factory 的五个蓝图分别做什么？

官方列出的五个是：自动驾驶数据集生成，筛选标注驾驶数据并补充难采集场景的合成样本；图像属性增强，改变物体外观以提升图像检索效果；事件视频生成，把静态图像转成罕见或不安全事件的合成视频；缺陷图像生成，生成电路板、金属与玻璃的缺陷图像供检测模型训练；视频数据增强，在保持场景结构的前提下改变天气与光照。

可以用自己的模型吗？

可以。官方说明，开发者与智能体可以通过微调与强化学习适配 GR00T、Alpamayo、QWEN、Pi0.5 以及其他兼容的 Hugging Face 模型，再用蒸馏与量化优化，最后部署推理。具体兼容范围以官方文档与仓库说明为准。

在哪里能拿到这些工具？

Cosmos Data Factory 与 Cosmos Framework 在 GitHub 上提供；Cosmos Data Factory 的云原生蓝图还可通过 Microsoft Azure、Nebius 与 CoreWeave 使用；核心 Cosmos 模型通过 NGC 目录里的 NIM 微服务部署。

这次发布有性能数字吗？

官方博客引用了若干客户与伙伴的实测比例，本文不作转述。这类数字依赖各自的数据与配置，建议以自身场景的实测结果和官方资料为准。

它和普通的视频生成模型有什么区别？

定位不同。Cosmos 面向物理 AI：目标是让系统理解并模拟现实世界，输出要能用于策略训练与闭环仿真评估，因此强调多视角、多传感、可复现的场景生成，而不是面向内容创作的画面观感。

相关工具与内容

• AI 视频
• AI 绘画
• AI 智能体
• Runway
• ComfyUI
• AI 视频榜单
• AI 智能体编排怎么选
• Cloudflare WebMCP 与 Commerce.com