Cosmos3

引言：让 AI 理解物理世界 2026 年 GTC Spring 大会上，英伟达发布了第三代物理世界基础模型 Cosmos3，并以 Apache 2.0 许可证开源全部模型权重。Cosmos3 能够理解物理定律、模拟真实世界动态，并生成物理合理的视频和 3D 场景。这标志着 AI 从"语言智能"向"物理智能"的关键跨越，为机器人、自动驾驶和工业仿真提供了统一的基础模型。 一、Cosmos3 模型概览 1.1 模型家族 模型 参数量 输入模态 输出模态 用途 Cosmos3-7B 7B 视频+文本 视频+3D 轻量级仿真 Cosmos3-14B 14B 视频+文本+传感器 视频+3D+物理 通用物理 AI Cosmos3-34B 34B 全模态 视频+3D+物理+代码 旗舰模型 Cosmos3-Reasoner 34B 全模态 物理推理+仿真 因果推理 Cosmos3-World 34B 场景描述 完整 3D 世界生成 世界构建 1.2 与前代对比 能力 Cosmos1 Cosmos2 Cosmos3 视频生成 5-10s, 720p 60s, 1080p 10min, 4K 物理理解 基础碰撞 刚体动力学 软体+流体+热力学 3D 场景 不支持 静态场景 动态交互场景 物体恒存性 弱 中等 强 (长时间跟踪) 因果推理 不支持 不支持 支持 实时推理 否 否 是 (34B @ 30fps) 二、技术架构 2.1 物理感知 Transformer Cosmos3 的核心创新是 Physics-Aware Transformer (PAT) 架构，将物理引擎与 Transformer 深度融合： ...

全模态大模型：不只是「多模态」 NVIDIA Cosmos3 不是又一个「能看图的 LLM」。它是一个全模态 (Omni-modal) 大模型——能理解并生成五种模态的内容：文本、图像、视频、3D 场景、物理传感器数据。 模态 输入 输出 文本 ✅ ✅ 图像 ✅ ✅ 视频 ✅ (最长 60s) ✅ (最长 30s) 3D 场景 ✅ (点云/Mesh) ✅ (Mesh/NeRF) 传感器数据 ✅ (IMU/LiDAR/触觉) ✅ (物理模拟数据) 关键区别在于「原生集成」——不是五个独立模型拼接，而是在单一架构中统一处理。Cosmos3 使用了 Omni-modal Transformer (OMT) 架构，所有模态被映射到一个共享的隐空间，通过模态特定的 tokenizer 编码后进入统一的 Transformer 主干。 这意味着 Cosmos3 可以处理跨模态的推理任务，例如： 输入一段视频 + 文字描述 → 输出 3D 场景重建 输入 LiDAR 点云 + IMU 数据 → 输出物理仿真视频 输入一张工程图 → 输出零件 3D 模型 + 装配动画 Super vs Nano：646 亿 vs 157 亿 Cosmos3 提供两个规模版本，均完全开源： ...