这个月的视频模型更新很密集,参数一个比一个漂亮。但横评榜单和实际出片,往往是两回事。看横评要看对维度。

横评榜单通常测什么?

三类。画质,包括清晰度、纹理、光影。运动,包括连贯性、物理合理性。指令遵循,包括构图和镜头是否符合描述。

三类里第三类最影响可用性,但最不容易测。

为什么指令遵循最关键?

因为商业片的要求是可控。客户说推镜,你不能给摇镜;客户说冷调,你不能给暖调。

画质可以后期修,运动可以重生成,指令错了整条片子作废。

Elo 分数该怎么看?

Elo 是相对偏好,不是绝对质量。1139 分说明在对比中更常被选中,不说明它适合你的场景。

而且偏好受测试集影响。测试集偏电影感,写实类作品就会吃亏。

生成速度重要吗?

重要,但分场景。批量生产时,速度直接决定产能。单条精修时,速度不重要,质量重要。

10 秒 720p 用 12 秒生成,属于可批量;用 5 分钟生成,只适合精修。

成本怎么对比?

三个口径。单条成本、单秒成本、有效成片成本。

第三个最真实。生成十条废八条,单条成本再低也贵。

该怎么自己做横评?

四步。第一,定五个真实需求。第二,同一提示词跑三条。第三,盲评,不看品牌。第四,记录废片率。

第四步最容易被跳过,但它决定实际成本。

横评结果能直接用吗?

不能。模型版本更新快,上个月的结论这个月就可能失效。

建议每季度重测一次,只测自己用的那几类任务。

有哪些常见误读?

四个。第一,把 Elo 当质量分。第二,只看画质不看指令。第三,忽略废片率。第四,用别人的测试集。

第四个最常见。别人的需求和你不一样。

这篇的核心结论是什么?

横评的价值不是排名,是帮你看清哪个维度在什么场景下更重要。

还有哪些需要留意的点?

模型能力与价格以官方为准。本文给的是评估方法,不是推荐结论。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论