这个月的视频模型更新很密集,参数一个比一个漂亮。但横评榜单和实际出片,往往是两回事。看横评要看对维度。
横评榜单通常测什么?
三类。画质,包括清晰度、纹理、光影。运动,包括连贯性、物理合理性。指令遵循,包括构图和镜头是否符合描述。
三类里第三类最影响可用性,但最不容易测。
为什么指令遵循最关键?
因为商业片的要求是可控。客户说推镜,你不能给摇镜;客户说冷调,你不能给暖调。
画质可以后期修,运动可以重生成,指令错了整条片子作废。
Elo 分数该怎么看?
Elo 是相对偏好,不是绝对质量。1139 分说明在对比中更常被选中,不说明它适合你的场景。
而且偏好受测试集影响。测试集偏电影感,写实类作品就会吃亏。
生成速度重要吗?
重要,但分场景。批量生产时,速度直接决定产能。单条精修时,速度不重要,质量重要。
10 秒 720p 用 12 秒生成,属于可批量;用 5 分钟生成,只适合精修。
成本怎么对比?
三个口径。单条成本、单秒成本、有效成片成本。
第三个最真实。生成十条废八条,单条成本再低也贵。
该怎么自己做横评?
四步。第一,定五个真实需求。第二,同一提示词跑三条。第三,盲评,不看品牌。第四,记录废片率。
第四步最容易被跳过,但它决定实际成本。
横评结果能直接用吗?
不能。模型版本更新快,上个月的结论这个月就可能失效。
建议每季度重测一次,只测自己用的那几类任务。
有哪些常见误读?
四个。第一,把 Elo 当质量分。第二,只看画质不看指令。第三,忽略废片率。第四,用别人的测试集。
第四个最常见。别人的需求和你不一样。
这篇的核心结论是什么?
横评的价值不是排名,是帮你看清哪个维度在什么场景下更重要。
还有哪些需要留意的点?
模型能力与价格以官方为准。本文给的是评估方法,不是推荐结论。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论