视频生成

距离 10 月 23 日还有两周，中国电影工业即将迎来一个节点：国内首部利用 AI 技术制作、并拿到国家电影局公映许可证的院线电影《三星堆：未来往事》定档上映，全片约 100 分钟。影片以三星堆古蜀文明为核心，用 AI 超写实影像把三千年前的青铜文明重新搬上大银幕。这不再是短视频平台上那种「生成一段炫技片段」，而是一部要在影院里、以 100 分钟时长接受观众和票房检验的长片。 《三星堆：未来往事》为什么算一个里程碑？ 过去两年，AI 生成视频在短视频、广告、MV 里已经证明了自己，但院线长片是另一个量级的考验。短片只要好看几秒，长片需要连贯的叙事、稳定的角色形象、统一的美术风格，并且扛得住影院大屏的分辨率和时长。《三星堆》敢拿公映许可证、敢排院线档期，说明制作方在这几件事上已经过了自己这一关。 更微妙的是选题。三星堆本身就是「超写实古代文明视觉化」的难题——青铜面具、祭祀场景，没有活人见过，全靠考古想象。这种「不需要对嘴型、不需要还原真实演员」的题材，恰好绕开了当前 AI 视频最难啃的写实人脸和连续表演，把技术用在了它最擅长的地方。 AI 进院线会怎样改变整个影视工业？ 这件事会在两个方向上产生涟漪。其一，「AI 辅助长片」从此有了一个合规的、可放映的先例，投资方和院线敢于把它当成正经项目看待，而不是边缘实验。其二，文化遗产类纪录片、历史场景重建这类原本成本极高的题材，第一次有了便宜得多的视觉实现路径。 当然，100 分钟的叙事质量、观众的观影口碑，都还没经过验证。AI 能生成画面，但能不能讲好一个三星堆的故事，要等上映后见分晓。 这部电影里 AI 到底参与了多少环节？ 需要说明的是，「首部 AI 院线电影」的说法来自片方与媒体通稿，具体 AI 参与了哪些制作环节、哪些仍是传统实拍和人工，尚未有逐镜拆解。但无论比例如何，公映许可证和院线档期本身，就是行业对 AI 长片投下的一张信任票。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：AI电影三星堆

从静到动的两条路线 ComfyUI 做出图玩熟了，下一步自然是让画面动起来。现在主流两条路线：一是直接文生视频，用 Wan 这类专门的视频扩散模型，一句提示词出几秒动态片段；二是AnimateDiff，把你已经调好的 Stable Diffusion 静态工作流，外挂一个运动模块，让原本的图动起来。前者质量高、显存吃紧，后者复用现有工作流、轻量灵活。 路线一：Wan 视频模型 Wan（万相）是阿里开源的视频生成模型，在 ComfyUI 生态里有对应的官方节点。它的特点是直接生成视频，不是图生视频，动态幅度和连贯性比早期模型好不少。工作流大致是：加载 Wan 的 text-to-video 模型节点 → 正反提示词 → 设定帧数（比如 81 帧，约 5 秒@16fps）和分辨率 → 采样 → VAE 解码输出视频帧 → 用 Video Combine 节点合成 MP4。 关键在显存账：视频模型比图像模型大一个量级，Wan 1.3B 级别的量化版可以在 12-16GB 显存跑短片，完整 14B 级别则要 24GB 以上。帧数越多、分辨率越高，latent 空间的计算量按帧数涨——这是「能出图却出不了视频」的核心原因。 路线二：AnimateDiff 复用 SD 工作流 如果你已经有一套调得很满意的 SD/SDXL 出图工作流，AnimateDiff 的价值是最小改动让它动起来：在 KSampler 之前插一个 AnimateDiff Loader 节点，加载对应的运动模块（mm_sd_v15_v2 之类），再在采样后接一个帧合成节点。你原本调好的提示词、LoRA、采样参数几乎不用动，只是输出从「一张图」变成「一小段动图」。 路线 适合 显存 动效质量 Wan 文生视频 要直接出成片 较高（16GB+） 连贯、幅度大 AnimateDiff 复用现有 SD 工作流 中（可沿用原配置） 小幅运动、风格统一 三个实操要点 第一，帧数别贪多：新手先跑 16-24 帧的短片段验证流程，跑通了再加长——视频生成慢，一上来就 81 帧，等半天失败很打击人。第二，提示词写「运动」而非只写「物体」：静态图提示词描述长相，视频提示词要加动作与镜头，比如「镜头缓缓推近，人物头发随风飘动」，否则出了也是几乎不动的伪视频。第三，出帧后再合成：ComfyUI 里视频是一帧帧算出来存进队列的，最后才由 Video Combine 节点编码成 MP4，中间显存和磁盘占用都要预留，别以为它是一次性吐视频。 ...

曾经的天花板，说下线就下线 2024 年底，Sora 用一段段逼真实拍般的生成视频惊艳全场，一度被视为视频生成的天花板。然而到了 2026 年，剧情急转直下：Sora 的网页版、App 乃至 API，已于 4 月 26 日正式停止服务。那个曾经定义了「AI 能生成多逼真视频」的产品，悄无声息地从货架上撤了下来。这件事本身，比任何跑分都更能说明这个赛道的残酷——先发优势，在快速迭代的技术面前，并不等于市场地位。 为什么是 OpenAI 先退 Sora 的困境有普遍性：视频生成的算力成本极高，一段高清长视频的推理开销远超文本对话，而普通用户的付费意愿却没跟上。当 OpenAI 的重心转向通用 Agent 和 GPT-6 系列，一个烧钱、变现又慢的视频产品，很容易被排到优先级末位。于是出现了一个反常现象：最出名的产品，反而成了最先被战略性放弃的那个。 空出来的位置谁在接 Sora 留下的真空，迅速被更务实的玩家填补：快手可灵靠 4K 直出和影视工业化站稳脚跟，谷歌 Veo 在多模态生态里继续推进，字节 Seedance 系列主打多轨音频与广告、游戏场景，国内还有即梦、Vidu 等一堆工具在细分场景里拼刺刀。用户用脚投票，从「最有名的」转向「最好用、最划算、最能接进工作流的」。对中小创作者来说，这其实是好事：曾经被头部产品卡着的额度和接口，现在多平台比价、按效果付费，试错成本大幅下降。 关停背后是整个行业的算账方式变了 把 Sora 的谢幕放到更大的图景里看，会发现视频生成行业已经从「拼惊艳」进入「拼单位成本」的阶段。一兆像素一秒的推理要烧多少钱、能卖多少钱，成了每个团队必须算清的账。OpenAI 选择关停，本质是这门账在它的体系里暂时算不平；而可灵、Seedance 们能活下来，是因为它们找到了广告、影视、游戏这些愿意为素材付钱的垂直场景。谁先把生成成本打到客户预算之内，谁就能活过这一轮洗牌。 收束 Sora 的谢幕是一记警钟：在 AI 赛道，技术惊艳只能换来一时的掌声，真正能活下来的是把成本、场景、交付跑通的产品。视频生成的王冠已经易主——它不再属于那个最会做演示的，而属于那个最会帮人把活干完的。 去论坛讨论 关于「Sora关停」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

从一个功能，长成一个要单独上市的公司 十月初有消息称，快手旗下可灵 AI 计划最早于明年赴港上市，公司估值已突破 1200 亿元人民币。这个数字背后，是视频生成赛道第一次跑出一个可以独立支撑估值的头部玩家。可灵的打法和纯模型公司不同：它背靠快手的短视频工业体系，从一开始就瞄准「能用在生产线上」，而不只是在 Demo 里惊艳。目前它已经推出业内原生 4K 视频直出能力，能力从大众创作，一路渗透进了影视工业化流程。 真金白银的案例比榜单更有说服力 可灵放出的几个落地案例，是它敢冲上市的底气：AI 短片《纸手机》全网播放量破亿，还入围了北京国际电影节的 AIGC 单元；生成内容已经参与到好莱坞项目《大卫王朝》的制作中，完成了 AI 生成素材与真人实拍的协同。配套工具快影也上线了全套 AIGC 辅助创作功能，覆盖账号定位、智能剪辑到素材成片。这意味着它卖的不是一个 API，而是一整套「从脚本到成片」的生产管线。 视频生成的商业模式终于跑通 视频生成一度被认为「好看但难赚钱」，因为生成一段片子容易，稳定对接工业化流程、按交付标准收费很难。可灵的路径证明了一件事：只要扎进广告、影视、游戏这些愿意为素材付费的行业，按项目和产能收钱，模型公司也能长出可持续的商业闭环。1200 亿估值赌的，正是这条从玩具到生产工具的转型。 收束 可灵冲击港股，是中国 AI 应用层少有的「模型加产品加行业」三位一体的样本。对行业，它验证了视频生成不只是炫技，而是一门能进院线、能进片场的生意。对创作者，工具门槛会被继续拉低，接下来比的是谁先用它把产能放大十倍。 去论坛讨论 关于「可灵AI」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

硅基速览 OpenAI Sora API将于2026年9月24日正式终止服务（EOL），所有基于Sora API构建的产品将停止返回视频。 Sora从3月24日宣布停用到9月24日API关闭，历时六个月——OpenAI主动退出了视频生成模型竞赛。 接棒者：字节Seedance 2.5和阿里Wan 3.0，支持单次30秒原生视频生成、50路多模态参考输入，成本仅为Sora的零头。 正文 Sora的谢幕时间表 2026年9月24日，将是AI视频生成历史上一个值得标记的日子。据twinailabs和dxbuilder.io等多家技术媒体整理，OpenAI Sora的完整谢幕时间表如下： 3月24日：OpenAI宣布Sora将在移动端/Web App和API两条产品线同时停用 4月26日：sora.com网站和Sora iOS/Android App停止接受新的生成请求 9月24日：Sora API正式到达生命周期终点（EOL），所有基于Sora API构建的产品停止返回视频 也就是说，任何在2026年上半年基于Sora API构建的视频应用——从自动营销视频生成器到电商产品展示工具——都必须在9月24日前完成迁移，否则产品将直接失效。 OpenAI给出的停Sora理由很官方：资源优先投入到ChatGPT和AGI核心路线。但圈内人都知道，真正的原因是Sora在商业上跑不通——生成质量和成本都无法与中国模型竞争。 为什么Sora打不过中国模型 2024年Sora首次亮相时，它的物理一致性和长视频连贯性让整个行业震惊。但到2026年，中国的视频生成模型已经全面超越Sora： 时长：Seedance 2.5和Wan 3.0支持单次生成30秒原生视频，而Sora API最长只能生成20秒。30秒是广告级视频的黄金时长——一条15秒广告加前后留白正好30秒，这个时长让AI视频真正进入商业广告生产流程。 多模态参考：Seedance 2.5支持最多50路多模态参考输入（图片、视频、音频、文本混合），这意味着你可以用角色参考图+场景参考图+风格参考图+运镜描述，一次性生成高度可控的视频。Sora在这方面的支持非常有限。 成本：根据CometAPI在9月3日整理的定价表，Veo 3.1 Lite的720p视频生成价格为$0.03/秒。Seedance 2.0采用token计费，实际成本约为Sora的三分之一到五分之一。对于需要批量生成视频的营销团队，这个成本差距是决定性的。 原生音频：Sora的音频生成能力一直是短板。而Veo 3.1、Seedance 2.0、Kling 3.0都已支持原生音频生成——视频画面和声音同时输出，不需要后期配音。 迁移指南：从Sora到Seedance/Wan 对于正在使用Sora API的开发者，硅基实战派建议按以下优先级迁移： 第一优先级：Seedance 2.5（字节跳动）。 如果你的应用主要面向中国市场或中文场景，Seedance 2.5是最佳选择。它已深度集成在剪映/CapCut中，生成成本用CapCut积分结算，对国内开发者极其友好。支持30秒原生视频、50路多模态参考、原生音频。 第二优先级：Wan 3.0（阿里巴巴）。 如果你的应用面向全球市场，Wan 3.0通过阿里云国际站提供API，支持英文场景，多语言理解能力强。30秒原生视频生成的质量与Seedance相当，各有侧重。 第三优先级：Veo 3.1（Google）。 如果你的应用需要最高质量的电影级画面，Veo 3.1在Zapier 2026排名中被评为"最佳全能AI视频生成器"，支持最长120秒、原生音频、电影术语理解（rack focus、motivated lighting、Dutch angle）。免费通过Google Flow提供50 credits/天。 第四优先级：Kling 3.0（快手）。 如果你的应用极度成本敏感，Kling 3.0被多个评测评为"最佳性价比"，支持电影级4K，价格约$0.10/秒。 30秒原生视频改变了什么 Sora关停的背后，是视频生成技术从"demo玩具"到"生产工具"的质变。30秒原生视频生成意味着什么？ 广告行业：以前一条15秒广告片，拍摄+后期制作成本约5-20万元，周期1-2周。现在用Seedance 2.5生成30秒原生视频，成本约5-50元，周期10分钟。广告制作的边际成本趋近于零，这会彻底改写广告行业的成本结构。 电商行业：以前一个电商产品需要拍摄主图视频、详情页视频、社交媒体版本，成本数千到数万元。现在用产品参考图+脚本，一次生成多个版本，成本降到几十元。 ...

硅基速览 9月1日，Runway正式向公众发布Gen-4 Ultra，支持最长120秒、4K分辨率（3840×2160）视频生成。 生成成本较上一代Gen-3 Alpha降低约60%，是AI视频生成首次达到可单次输出30秒广告级时长的里程碑。 在TechieHub 9月8日的排名中，Gen-4.5以"最佳可控性"位居前列，与Veo 3.1的"最佳全能"和Kling 3.0的"最佳性价比"形成三强格局。 正文 120秒4K：AI视频的"广告门槛"被跨过了 2026年9月1日，Runway正式发布AI视频生成模型Gen-4 Ultra。根据slide.miraipage.net整理的发布会信息，这个模型在两个核心指标上实现了突破： 时长：支持单次生成最长120秒的视频 分辨率：原生支持4K（3840×2160） 成本：较上一代Gen-3 Alpha降低约60% 为什么120秒4K是一个里程碑？因为广告行业的制作流程有一个"30秒门槛"——一条商业广告的标准时长是30秒，加上前后留白需要单次生成至少45-60秒的素材。在Gen-4 Ultra之前，所有AI视频模型单次生成时长都在10-20秒之间，需要分段生成再拼接，拼接处的画面不连续、运镜不连贯，无法直接用于商业广告。 Gen-4 Ultra把单次时长拉到120秒，意味着AI生成的视频可以直接进入广告制作流程，不需要后期拼接。这是从"玩具demo"到"生产工具"的质变。 Runway的差异化：可控性 根据TechieHub在9月8日发布的"2026年AI视频生成器真实成本排名"，当前市场格局是： Veo 3.1：最佳全能，质量最高，通过Google Flow免费提供 Runway Gen-4.5：最佳可控性，适合专业制作流程 Kling 3.0：最佳性价比，电影级4K，价格约$0.10/秒 Synthesia/HeyGen：脚本化数字人视频 Luma/Pika：学习用免费工具 Runway的差异化不在"生成质量最高"（那是Veo 3.1的位置），而在"可控性最强"。对于专业影视制作团队来说，可控性比生成质量更重要——你需要精确控制每一帧的构图、运镜、光影、角色一致性。Runway从Gen-3时代就开始构建这套工具链： Motion Brush（运动笔刷）：在画面上指定区域，控制该区域的运动方向和速度 Inpainting（局部重绘）：修改视频中特定物体，其他部分保持不变 Clip Extension（片段延伸）：在已有视频基础上延长长度 Camera Control（运镜控制）：精确指定推、拉、摇、移、跟等运镜方式 这些工具组合起来，让Runway成为专业视频团队最爱的AI视频工具——不是因为它生成的画面最美，而是因为它能进入现有的后期制作工作流，与Premiere、After Effects、DaVinci Resolve等专业软件无缝衔接。 成本下降60%意味着什么 Gen-4 Ultra的生成成本较Gen-3 Alpha降低约60%。我们用具体数字拆解： 假设制作一条60秒的商业广告视频： 传统实拍：团队、场地、设备、后期，成本约5-20万元，周期1-2周 Gen-3 Alpha时代：AI生成60秒需要分4段生成，每段约5秒，总生成成本约$50-100，加上人工筛选和后期，总成本约2000-5000元，周期1-2天 Gen-4 Ultra时代：单次生成60秒，生成成本约$20-40，加上人工筛选，总成本约500-1500元，周期2-4小时 从2万元降到1000元，从2周降到2小时。这就是AI视频生成对广告行业的降维打击。 与Seedance/Veo/Kling的选型框架 硅基实战派整理一个2026年9月的AI视频工具选型框架： 场景 推荐工具 理由 电影级广告片 Runway Gen-4 Ultra 可控性最强，4K原生 最高画质全能 Google Veo 3.1 原生音频，电影术语理解 成本敏感批量生产 Kling 3.0 $0.10/秒，4K 中文场景/国内工作流 Seedance 2.5（即梦） 剪映集成，30秒原生 全球市场/英文场景 Wan 3.0（阿里） 多语言，30秒原生 数字人/口播视频 Synthesia/HeyGen 脚本化数字人 硅基AGI社区在论坛silicon-agi.com上有一个专门的板块讨论AI视频生成工具选型，创作者们分享了大量不同场景下的实测对比数据。 ...

Kling 2.0：国产AI视频的新标杆 快手在2026年初发布的Kling 2.0标志着国产AI视频生成技术的重大突破。作为Sora之外最有竞争力的视频生成模型，Kling 2.0在多项指标上已经接近甚至在某些场景中超越了Sora 2.0。 本文基于200+次生成测试，从七个维度进行系统评测。 评测方法论 为保证评测的客观性，我们采用统一的测试集和评分标准： 评测维度 权重 测试样本数 评分方式 画面质量 20% 30 5分制人工评分 运动合理性 20% 30 自动检测+人工验证 提示词遵循 15% 30 元素检出率 中文理解 15% 20 中文特定场景 时序一致性 10% 20 帧间一致性计算 生成速度 10% 50 平均耗时 功能丰富度 10% N/A 功能清单对比 核心能力评测 1. 画面质量 Kling 2.0采用了升级的DiT（Diffusion Transformer）架构，在分辨率和细节上相比1.5版本有显著提升。 测试场景：人物面部特写、自然风光、城市建筑、产品展示 结果： 指标 Kling 2.0 Sora 2.0 Kling 1.5 最大分辨率 1080p 1080p 720p 面部细节 4.3/5 4.5/5 3.2/5 光影真实度 4.4/5 4.6/5 3.5/5 纹理质量 4.2/5 4.4/5 3.0/5 色彩表现 4.5/5 4.3/5 3.6/5 Kling 2.0在色彩表现上略有优势，特别是在暖色调和东方美学风格的场景中，色彩渲染更加自然。 ...

Sora：从技术演示到生产工具 OpenAI的Sora自发布以来经历了多次迭代，2026年的Sora 2.0已经在商业视频制作中站稳脚跟。但许多用户仍停留在"输入一句话、碰运气"的阶段。本文基于半年的实战经验，总结一套从提示词到成片的完整工作流。 提示词工程：Sora的"导演语言" 提示词的六层结构 高质量的Sora提示词不是随意描述，而是有结构的信息分层： ① 主体描述 → ② 场景环境 → ③ 运镜方式 → ④ 光影氛围 → ⑤ 时间动态 → ⑥ 技术参数 每一层的详细说明： 层级 作用 示例 主体描述 画面核心对象 一位穿着深蓝色和服的女性 场景环境 时空背景 站在京都岚山竹林深处的小径上 运镜方式 镜头运动 镜头缓慢向前推进，同时轻微上升 光影氛围 光线和色调 清晨的逆光穿透竹叶，形成丁达尔效应 时间动态 时间跨度变化 随着镜头推进，竹叶在微风中摇曳 技术参数 视频规格 4K，35mm焦段，浅景深，电影质感 完整提示词示例 场景一：产品广告 一只透明玻璃水瓶置于黑色大理石台面上，瓶身有细密的水珠。 背景是模糊的深灰色渐变。一束柔和的侧逆光从左后方45度照射， 在瓶身上形成明亮的高光线条。镜头以瓶身为中心缓慢环绕180度， 水珠在光线下闪烁。瓶内气泡缓慢上升。4K，微距镜头，f/2.8， 电影级色彩渲染，30fps。 场景二：叙事短片 黄昏时分，一位老人坐在海边木制长椅上，手中拿着一本翻旧的书。 海浪轻轻拍打沙滩，夕阳将天空染成橙红与紫色渐变。镜头从老人的 背影开始，缓慢拉远并升高至俯瞰角度，展现延长的海岸线和孤独的 剪影。远处有一艘小渔船正在归港。画面整体色调偏暖，胶片颗粒感， 2.39:1宽银幕比例，24fps。 提示词优化的关键原则 # Sora提示词优化器的概念框架 class SoraPromptOptimizer: def __init__(self): self.dimensions = { "specificity": "具体性——用精确描述代替模糊词汇", "motion": "动态性——确保画面中有运动元素", "lighting": "光影——明确光源方向和性质", "depth": "纵深——前景、中景、背景三层信息", "temporal": "时序——描述画面随时间的变化", "style": "风格——指定视觉风格参考", } def score_prompt(self, prompt): scores = {} for dim, desc in self.dimensions.items(): scores[dim] = self.evaluate(prompt, dim) total = sum(scores.values()) / len(scores) return { "scores": scores, "overall": total, "suggestions": self.suggest_improvements(scores, prompt) } 参数调优 核心参数详解 参数 范围 建议 影响 时长 5-60秒 10-20秒最佳 越长越容易出现质量退化 宽高比 16:9/9:16/1:1 匹配发布平台 影响构图 运动强度 1-10 3-6最自然 过高导致画面撕裂 风格强度 0-1 0.6-0.8 过高失去真实感 种子值 整数 固定以复现 确保一致性 常见问题与解决方案 问题1：画面闪烁/不一致 ...

AI视频生成的技术跃迁 2024年OpenAI发布Sora，AI视频生成从"能动"走向"能看"。到2026年，视频生成已经发展出完整的技术栈和商业生态。 技术路线全景 路线一：扩散模型+时空注意力（主流） Sora采用的核心架构是DiT（Diffusion Transformer）： 噪声视频块 → 去噪(迭代) → 清晰视频 关键组件: - 时空Transformer：处理空间和时间维度的联合注意力 - 时空Patch：将视频切分为时空块（类似ViT的patch机制） - 扩散过程：从纯噪声逐步去噪到清晰视频 核心创新是"时空Patch"机制： 将视频分解为时空立方体 每个patch作为token输入Transformer 类比：文本token→视频时空token 好处：统一的框架，可处理不同分辨率和时长 路线二：自回归模型 将视频帧序列视为token序列，用next-token prediction方式生成： 每帧量化为离散token 自回归生成帧序列 代表：VideoPoet、Kinetix 优势：天然支持文本条件 劣势：时间一致性不如扩散模型 路线三：掩码建模 类似MAE（Masked Autoencoder），随机遮蔽部分帧后重建： 训练：随机遮蔽视频帧，学习重建 推理：从部分帧"补全"完整视频 优势：速度快（只需1-2次forward而非50步去噪） Sora架构深度分析 时空Patch化 输入视频被切分为时空patch： 空间维度：每16×16像素为一个patch 时间维度：每4帧为一个时间块 每个patch编码为一个向量 这种设计让模型天然支持不同分辨率和长宽比——不需要裁剪到固定尺寸。 扩散Transformer 去噪过程在patch token空间中进行： x_t = 噪声视频tokens t = 扩散时间步 c = 文本条件(text encoding) ε = DiT(x_t, t, c) # 预测噪声 x_{t-1} = 去噪一步(x_t, ε) DiT使用大规模Transformer（数十亿参数），支持长序列的时空建模。 ...

AI视频生成：从科幻到生产工具 2024年Sora的发布震惊世界，2026年的AI视频生成技术已经从"令人惊叹的Demo"进化为可用的生产工具。开源与商业方案并驾齐驱，视频长度从4秒扩展到分钟级。 技术架构演进 扩散模型路线 当前主流视频生成模型基于扩散模型，但在具体架构上有显著差异。 Sora的DiT架构 Sora使用Diffusion Transformer（DiT）架构，将视频表示为时空token序列： 输入视频 → Patch化 → 时空token序列 → DiT块（自注意力+MLP）→ 去噪 → 解码为视频 Sora的关键创新： 时空Patch：将视频切分为包含时间和空间信息的Patch 联合训练图像和视频：图像视为单帧视频 文本条件注入：通过交叉注意力注入文本描述 Kling（可灵）的架构选择 快手的Kling采用了3D VAE + Diffusion的路线： class KlingVideoGenerator: def __init__(self): self.vae = VAE3D() # 3D VAE压缩视频 self.dit = DiT3D() # 3D DiT去噪 self.text_encoder = T5Encoder() def generate(self, text_prompt, duration=5): # 1. 文本编码 text_emb = self.text_encoder(text_prompt) # 2. 生成压缩空间中的噪声 latent = torch.randn(*self._compute_shape(duration)) # 3. 迭代去噪 for t in reversed(range(T)): latent = self.dit(latent, t, text_emb) # 4. 解码为视频 video = self.vae.decode(latent) return video 自回归路线 Meta的VideoPoet和Google的VideoLLaMA探索了自回归视频生成： 文本token + [视频token序列] → 自回归生成 → 解码为视频 自回归路线的优势是天然支持长视频生成（逐帧生成），但帧间一致性控制较难。 核心技术挑战 时空一致性 视频生成最大的挑战是保持帧间的一致性——人物不能在帧之间突然变样，场景不能无故变换。 解决方案1：3D注意力：在注意力计算中同时关注空间和时间维度，但这导致计算复杂度 $O(n^2)$ 中的n包含时间维度，显存需求巨大。 ...