据 AI/TLDR 等聚合,十月四日前后 Kandinsky Lab 以 MIT 协议放出了 Kandinsky 6.0 Video:一族 3B 与 29B 参数的扩散模型,专门用来生成五秒左右的视频片段,并且不是「先出画再配音」——它在生成画面的同时同步合成 44kHz 的音频,还带口型对齐。在一堆只生成无声画面的开源视频模型里,把音频当一等生成目标一起做,是个明确的差异化动作。

为什么视频生成要连音频一起做?

视频和音频在真实世界里是绑定的:一个人开口,嘴型和声音必须对上;物体碰撞,画面和音效必须同帧。传统管线是视频扩散模型出无声画面,再接一个 TTS 或音效模型配音,两边各自为战,口型、节奏、临场感经常对不齐。Kandinsky 6.0 Video 的赌注是:把音频模态直接放进同一个扩散生成过程,让画面和声音在去噪的每一步里互相约束,出来的片段天生就是声画同步的。五秒的短片段长度,正是为了把这种跨模态一致性控制在模型 hold 得住的范围里。

3B 和 29B 两档,分别打什么场景?

3B 那档明显是为消费级显卡和本地部署准备的:参数量小到能在单卡上跑,适合快速出小样、做互动原型。29B 是质量档,走更高保真度的画面与音频。两档同源,意味着小模型验证创意、大模型出终稿,工作流可以串起来。MIT 协议则是它和很多闭源视频模型拉开的关键距离——权重随便拿、随便改、商用不传染,这对想把视频生成嵌进自己产品的团队非常友好。

开源音频视频一体生成,离真正能用还差什么?

五秒、44kHz、口型对齐,听上去很美,但要冷静看几个短板:时长一拉长,跨模态一致性和时序稳定性就会崩;音频目前更像是「和画面配套的环境声与人声」,离可控的配乐、精确的台词节奏还有距离;29B 的本地部署门槛也不低。它真正的价值,是验证了「声画一体扩散」这条路在开源侧走得通,给后面更长、更可控的模型打了样。对做短视频、虚拟人、互动内容的团队,这个权重值得先拉下来跑通管线。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论