十一月十日,MBZUAI 的基础模型研究所放出了 PAN 2,一个 Apache 2.0 协议的开源世界模型。结构上是一个语言模型规划器加一个 29B 的扩散 Transformer,能模拟最长 20 秒的动作结果,输出形式是视频。
这个描述听起来像视频生成,但定位完全不同。它要解决的不是画面好不好看,是动作做完会发生什么。
世界模型和视频模型的差别在哪?
视频模型的输入是文本或图片,输出是一段好看的画面。它的目标是像,评价标准是人觉得真不真。
世界模型的输入包含动作,输出是这个动作导致的后续状态。它的目标是对,评价标准是预测和真实发生的偏差有多大。
差别在因果。视频模型可以生成一个人把杯子推下桌,但杯子落地的方式未必符合物理;世界模型必须让杯子按重力落,因为下游要拿这个预测去做决策。
20 秒够用吗?
对很多机器人任务来说,够用。抓取、放置、开门、绕障,这些动作的完整时长通常在几秒到十几秒。20 秒的预测窗口能覆盖一次完整操作。
对更长程的任务不够,比如做一顿饭。但长程任务可以拆成动作序列,每个动作单独预测,再串起来。这种分段预测的做法在工程上更可控。
为什么用扩散 Transformer?
因为动作结果的分布是连续的、多模态的。同一个推力,杯子可能滑走,可能翻倒,可能只是晃一下。这种多峰分布用自回归的离散 token 很难表达,扩散模型天然适合。
29B 这个规模也有讲究。太小表达不了复杂场景,太大推理成本高,在机器人上跑不动。这个量级是精度和实时性的折中。
它对企业有什么用?
短期最直接的用途是仿真。训练机器人需要大量试错,真机上试成本高、风险大。有了世界模型,可以在虚拟环境里先跑一遍,把明显错误的策略筛掉。
第二个用途是异常检测。系统预测接下来应该发生什么,实际发生的和预测差太多,就说明有问题。这个思路在工业质检和自动驾驶上都有实践。
开源意味着什么?
意味着中小团队也能做世界模型相关的工作。以前这类模型只有大厂能训,现在权重放出来了,做垂直场景微调的门槛大幅下降。
Apache 2.0 是比较宽松的协议,商用限制少。这对想做机器人、做工业视觉的团队是实质利好。
还差什么?
差真实数据的对齐。世界模型的准确性高度依赖训练数据的覆盖度,而真实世界的长尾极其庞大。模型在训练分布内预测得准,出了分布就会给出看似合理但完全错误的预测。
这个问题的解法是持续采集真实反馈,把预测偏差回流成训练数据。这需要一套完整的闭环,不是拿到权重就能解决的。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论