Cosmos
NVIDIA Cosmos World Foundation Models常用英伟达的开放世界基础模型平台,用视频生成模型给机器人和自动驾驶造数据、做预演。
Cosmos 是英伟达 2025 年 1 月 6 日在 CES 发布的世界基础模型平台。世界基础模型(WFM)指先在海量视频上预训练、学会「世界接下来会怎么变化」的通用模型,再针对具体机器人或自动驾驶场景后训练。平台包括视频筛选流水线(从约 2000 万小时原始视频中切出约 1 亿个片段)、视频分词器 Cosmos Tokenizer、扩散式和自回归式两类预训练模型及后训练示例,以开放权重发布。之后分出几条产品线:Cosmos Predict 预测未来画面,Cosmos Transfer 按分割图、深度图等结构化输入生成逼真视频,Cosmos Reason 用多模态大模型做物理常识和具身推理。2026 年 6 月的 Cosmos 3 把语言、图像、视频、音频和动作放进同一个混合 Transformer 模型,分 Edge、Nano(16B)、Super(64B)等规格,按 Linux 基金会 OpenMDW-1.1 许可开放。
例子Cosmos Transfer 的一个用途是仿真到现实:把仿真器渲染出的分割图、深度图、边缘图当条件,生成看起来像真实拍摄的视频,用来扩充机器人和自动驾驶的训练数据。
- 也叫
- Cosmos 世界基础模型、Cosmos WFM、NVIDIA Cosmos
- 相关
- 世界基础模型、Cosmos Predict、Cosmos Transfer、Cosmos Reason、Cosmos 3、英伟达
- 来源
- Cosmos World Foundation Model Platform for Physical AI (arXiv 2501.03575)
NVIDIA Launches Cosmos World Foundation Model Platform to Accelerate Physical AI Development (NVIDIA Newsroom, 2025-01-06)
Cosmos 3: Omnimodal World Models for Physical AI (arXiv 2606.02800) - 信息截至
- 2026-06