扩散模型

AI视频生成的技术跃迁 2024年OpenAI发布Sora，AI视频生成从"能动"走向"能看"。到2026年，视频生成已经发展出完整的技术栈和商业生态。 技术路线全景 路线一：扩散模型+时空注意力（主流） Sora采用的核心架构是DiT（Diffusion Transformer）： 噪声视频块 → 去噪(迭代) → 清晰视频 关键组件: - 时空Transformer：处理空间和时间维度的联合注意力 - 时空Patch：将视频切分为时空块（类似ViT的patch机制） - 扩散过程：从纯噪声逐步去噪到清晰视频 核心创新是"时空Patch"机制： 将视频分解为时空立方体 每个patch作为token输入Transformer 类比：文本token→视频时空token 好处：统一的框架，可处理不同分辨率和时长 路线二：自回归模型 将视频帧序列视为token序列，用next-token prediction方式生成： 每帧量化为离散token 自回归生成帧序列 代表：VideoPoet、Kinetix 优势：天然支持文本条件 劣势：时间一致性不如扩散模型 路线三：掩码建模 类似MAE（Masked Autoencoder），随机遮蔽部分帧后重建： 训练：随机遮蔽视频帧，学习重建 推理：从部分帧"补全"完整视频 优势：速度快（只需1-2次forward而非50步去噪） Sora架构深度分析 时空Patch化 输入视频被切分为时空patch： 空间维度：每16×16像素为一个patch 时间维度：每4帧为一个时间块 每个patch编码为一个向量 这种设计让模型天然支持不同分辨率和长宽比——不需要裁剪到固定尺寸。 扩散Transformer 去噪过程在patch token空间中进行： x_t = 噪声视频tokens t = 扩散时间步 c = 文本条件(text encoding) ε = DiT(x_t, t, c) # 预测噪声 x_{t-1} = 去噪一步(x_t, ε) DiT使用大规模Transformer（数十亿参数），支持长序列的时空建模。 ...

AI音乐：从MIDI到端到端生成的飞跃 AI音乐生成经历了三个阶段：符号生成（MIDI）、波形生成（WaveNet）、端到端歌曲生成（Suno/Udio）。2026年的AI音乐已经可以生成包含人声、伴奏、混音的完整歌曲，质量接近专业制作水准。 技术路线对比 符号生成：MIDI时代 早期的AI音乐生成在符号空间操作——生成MIDI音符序列： class MIDIGenerator: def __init__(self, model): self.model = model # Transformer模型 def generate(self, prompt, length=500, temperature=1.0): # MIDI表示为事件序列 # Note On, Note Off, Velocity, Time Shift events = [SOS_TOKEN] for _ in range(length): logits = self.model(events) next_event = sample(logits, temperature) events.append(next_event) if next_event == EOS_TOKEN: break # 转换为MIDI return events_to_midi(events) 符号生成的优势：完全可控（可以精确编辑每个音符），文件小，生成快。 劣势：不包含音色、混音、人声等音频层面的信息，听起来像电子琴。 音频生成：扩散模型 直接在波形或频谱空间生成音频： class AudioDiffusionModel: def __init__(self, unet, scheduler): self.unet = unet # U-Net去噪网络 self.scheduler = scheduler # 噪声调度器 def generate(self, conditioning, duration=10.0, sr=44100): # 计算潜在空间形状 latent_length = int(duration * sr / self.vae_hop_length) # 从纯噪声开始 latent = torch.randn(1, self.latent_dim, latent_length) # 迭代去噪 for t in reversed(range(self.scheduler.num_steps)): # 预测噪声 noise_pred = self.unet(latent, t, conditioning) # 去噪一步 latent = self.scheduler.step(latent, noise_pred, t) # 解码为音频 audio = self.vae.decode(latent) return audio 端到端歌曲生成 Suno和Udio代表了端到端歌曲生成的最高水平。它们的架构大致如下： ...

AI视频生成：从科幻到生产工具 2024年Sora的发布震惊世界，2026年的AI视频生成技术已经从"令人惊叹的Demo"进化为可用的生产工具。开源与商业方案并驾齐驱，视频长度从4秒扩展到分钟级。 技术架构演进 扩散模型路线 当前主流视频生成模型基于扩散模型，但在具体架构上有显著差异。 Sora的DiT架构 Sora使用Diffusion Transformer（DiT）架构，将视频表示为时空token序列： 输入视频 → Patch化 → 时空token序列 → DiT块（自注意力+MLP）→ 去噪 → 解码为视频 Sora的关键创新： 时空Patch：将视频切分为包含时间和空间信息的Patch 联合训练图像和视频：图像视为单帧视频 文本条件注入：通过交叉注意力注入文本描述 Kling（可灵）的架构选择 快手的Kling采用了3D VAE + Diffusion的路线： class KlingVideoGenerator: def __init__(self): self.vae = VAE3D() # 3D VAE压缩视频 self.dit = DiT3D() # 3D DiT去噪 self.text_encoder = T5Encoder() def generate(self, text_prompt, duration=5): # 1. 文本编码 text_emb = self.text_encoder(text_prompt) # 2. 生成压缩空间中的噪声 latent = torch.randn(*self._compute_shape(duration)) # 3. 迭代去噪 for t in reversed(range(T)): latent = self.dit(latent, t, text_emb) # 4. 解码为视频 video = self.vae.decode(latent) return video 自回归路线 Meta的VideoPoet和Google的VideoLLaMA探索了自回归视频生成： 文本token + [视频token序列] → 自回归生成 → 解码为视频 自回归路线的优势是天然支持长视频生成（逐帧生成），但帧间一致性控制较难。 核心技术挑战 时空一致性 视频生成最大的挑战是保持帧间的一致性——人物不能在帧之间突然变样，场景不能无故变换。 解决方案1：3D注意力：在注意力计算中同时关注空间和时间维度，但这导致计算复杂度 $O(n^2)$ 中的n包含时间维度，显存需求巨大。 ...