
Hermes 双 LLM 架构:主模型+复盘模型协同
单模型的问题 大多数 Agent 框架使用单个 LLM 完成所有工作:理解指令、规划任务、调用工具、生成回复、总结经验。这带来三个问题: 成本高:用 GPT-4o 做经验总结是大材小用,总结任务用 Llama 3 8B 就够了 延迟高:任务执行完后还要等同一个模型完成总结才能返回 质量妥协:为了省成本用便宜模型,执行质量打折;用好模型,总结又太贵 Hermes 的解法是双 LLM 架构:一个主模型负责"干活",一个轻量复盘模型负责"学习和记忆"。 架构全景 用户消息 │ ▼ ┌──────────────┐ │ 主 LLM │ ← GPT-4o / Claude / Qwen(强大但昂贵) │ (执行层) │ │ │ │ · 任务理解 │ │ · 规划决策 │ │ · 工具调用 │ │ · 结果生成 │ └──────┬───────┘ │ │ 同步返回结果给用户 ▼ 用户收到回复 │ │ 异步触发(不阻塞用户) ▼ ┌──────────────┐ │ 复盘 LLM │ ← Llama 3 8B / Qwen 7B(轻量但够用) │ (学习层) │ │ │ │ · 经验总结 │ │ · 技能提炼 │ │ · 记忆更新 │ │ · 画像修正 │ └──────────────┘ 关键点:复盘 LLM 完全异步执行,用户不需要等待学习过程完成。 ...