这两个词经常被混用,因为它们的输出形式都是视频。但它们的训练目标、评价标准、使用场景完全不同。混用会导致资源投错方向。
训练目标有什么不同?
视频生成模型的训练目标是拟合像素分布。它学的是什么样的画面看起来真实,损失函数算在像素或潜空间上。
世界模型的训练目标是拟合状态转移。它学的是在给定动作下,世界会怎么变,损失函数算在预测状态和真实状态的偏差上。
前者追求像,后者追求对。一个可以生成极美但物理错误的画面,另一个必须让杯子按重力落地。
评价标准有什么不同?
视频模型靠人评。一段视频好不好,看流畅度、一致性、美感。这些都是主观判断,可以用人工打分或视觉模型打分。
世界模型靠任务评。预测得准不准,要看下游用它做决策的效果。一个预测在视觉上很粗糙但物理正确的模型,比一个画面精美但预测错的模型有价值得多。
为什么现在界限模糊了?
因为视频生成模型开始加物理约束,世界模型开始借视频生成的架构。两边在往中间靠。
这个靠近是自然的:要生成真实的视频,必须懂一点物理;要预测未来的画面,必须有一个好的生成器。但目标没变,只是手段在融合。
企业该选哪个?
看你要解决什么问题。要做营销素材、短视频、广告,选视频生成。要做机器人控制、工业仿真、自动驾驶预测,选世界模型。
判断标准很简单:你的下游是不是要基于输出做决策。如果是,就是世界模型的需求;如果输出直接给人看,就是视频生成。
混用会有什么后果?
最常见的后果是拿视频模型做仿真,结果物理不可信,训练出来的策略在真机上完全失效。
反过来,拿世界模型做内容生产,画面质量不够,用户不买账。两种错都会浪费大量预算。
未来的融合点在哪?
在具身智能。机器人需要既能预测动作结果,又能把结果可视化成人类能理解的画面。这两个需求会推动两类模型合并。
但合并的前提是评价体系先统一。现在两套评价标准互不相通,合并出来的模型没法评估。这是比技术更难的一步。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论