多模态 Agent：让 AI 看得见、听得懂、能创作

图像 → CLIP 编码 → 图像 Embedding ─┐
                                  ├→ LLM → 输出
文本 → Tokenizer → 文本 Embedding ─┘

图像 → Vision Encoder → 图像 Token ─┐
                                    ├→ LLM（统一 Token） → 输出
文本 → Tokenizer → 文本 Token ─────┘

所有输入（文本/图像/音频/视频）→ 统一编码器 → 统一 Token → LLM → 统一解码器 → 输出

输入（文本/图像/音频/视频）
         ↓
    统一编码器
         ↓
   ┌────────────┐
   │  统一 LLM  │
   └────────────┘
         ↓
    统一解码器
         ↓
输出（文本/图像/音频/视频）

任务: 分析这张图表的数据趋势

Agent 行为:
1. 接收图像输入
2. 识别图表类型（折线图/柱状图/饼图）
3. OCR 提取数据标签
4. 分析趋势（上升/下降/波动）
5. 给出结论和建议

任务: 根据这个产品设计文档生成 UI 原型

Agent 行为:
1. 理解产品设计文档（文本）
2. 规划 UI 结构
3. 调用图像生成工具
4. 迭代优化
5. 输出 UI 图像

任务: 总结这个 10 分钟的视频内容

Agent 行为:
1. 接收视频输入
2. 提取关键帧
3. 理解音频内容
4. 整合视觉+音频信息
5. 生成结构化摘要

任务: 实时语音对话助手

Agent 行为:
1. 接收语音输入
2. 语音转文本（ASR）
3. 理解用户意图
4. 生成回复
5. 文本转语音（TTS）
6. 输出语音

class VisionEncoder(nn.Module):
    """将图像编码为 Token 序列"""
    def __init__(self, patch_size=14):
        self.patch_embed = PatchEmbed(patch_size)
        self.pos_embed = PositionalEmbedding()

    def forward(self, image: Tensor) -> Tensor:
        # 图像 → Patch → Embedding
        patches = self.patch_embed(image)  # [B, N, D]
        # 加位置编码
        tokens = patches + self.pos_embed
        return tokens  # 可直接喂给 LLM

class MultimodalTokenizer:
    def tokenize(self, inputs: dict) -> list[Token]:
        tokens = []

        # 文本
        if "text" in inputs:
            tokens.extend(self.text_tokenizer(inputs["text"]))

        # 图像
        if "image" in inputs:
            image_tokens = self.vision_encoder(inputs["image"])
            tokens.extend(image_tokens)

        # 音频
        if "audio" in inputs:
            audio_tokens = self.audio_encoder(inputs["audio"])
            tokens.extend(audio_tokens)

        return tokens

# 多模态 Agent 调用工具示例
agent = MultimodalAgent(
    model="gpt-5",
    tools=[
        ImageGenerator("dall-e-3"),
        ImageAnalyzer("gpt-4v"),
        AudioTranscriber("whisper-large-v3"),
        VideoProcessor("gemini-2.5"),
    ]
)

# 执行任务
result = agent.run("""
请分析这张产品截图，找出 UI 问题，
然后生成优化后的设计图。
""", image="screenshot.png")

输入: 设计需求文档 + 参考图片
输出: UI 设计图 + 设计说明

流程:
1. 理解设计需求（文本）
2. 分析参考图片（图像理解）
3. 生成设计方案（图像生成）
4. 输出设计文档（文本）

输入: 视频 + 审核规则
输出: 违规片段标注 + 审核报告

流程:
1. 理解审核规则（文本）
2. 分析视频内容（视频理解）
3. 检测违规内容
4. 生成审核报告

输入: 会议录音 + 幻灯片
输出: 会议纪要 + 任务清单

流程:
1. 转录会议音频（语音识别）
2. 理解幻灯片内容（图像理解）
3. 整合信息生成纪要
4. 提取任务清单