
世界模型研究前沿:AI 能理解物理世界吗?
什么是世界模型 世界模型(World Model)是指 AI 系统内部对物理世界规律的内化表示。它不仅仅是"生成视频",而是理解物体永久性、因果链、物理约束、时间一致性——这些人类婴儿期就开始建立的能力。 Yann LeCun 的 JEPA 论文给出了一个框架性定义: 世界模型能够预测:给定当前状态 $s_t$ 和动作 $a_t$,下一时刻的状态 $s_{t+1}$ 是什么。这个预测不仅包括视觉外观,还包括物理属性、因果关系和不确定性。 LLM 本质上是语言世界模型——它预测下一个 token。但物理世界比语言世界复杂得多:连续状态、不可逆时间、无限维度。 核心方法对比 方法 提出者 核心思想 优势 局限 DreamerV3 Danijar Hafner 在潜空间学习世界模型 + Actor-Critic 样本效率高 仅游戏/简单控制 JEPA Yann LeCun 联合嵌入预测架构,预测抽象表示 避免像素级生成的困难 难以评估 Sora OpenAI DiT 扩散模型生成视频 视觉质量高 不保证物理正确 Genie DeepMind 交互式世界模型,可控生成 可控性强 分辨率低 Cosmos NVIDIA 世界基础模型,物理数据训练 多模态 计算需求大 Sora:视频生成 ≠ 世界模拟 Sora 是 2024 年最轰动的 AI 发布之一。OpenAI 称之为"世界模拟器",但这个说法在学术界引发了激烈争论。 Sora 能做什么 # Sora 架构概览(基于公开信息) """ Sora = DiT (Diffusion Transformer) + 视频压缩网络 1. 视频压缩:3D VAE 将视频压缩到时空 latent space - 输入:256x256x16 帧 → latent: 32x32x4 - 压缩比 ~64x 2. DiT 扩散: - 在 latent space 做条件扩散 - 条件:文本 prompt + 参考帧 - Transformer blocks: 28层, hidden=1024 3. 解码:latent → 视频帧 """ Sora 的物理理解测试 Tim Brooks 等人在技术报告中展示了 Sora 能模拟的物理现象: ...








