Nous Hermes 4架构解析:开源对齐的新范式

Hermes 4:开源对齐的里程碑 Nous Research的Hermes系列一直是开源大模型对齐研究的标杆。2026年发布的Hermes 4不再仅仅是一个"经过微调的Llama"——它提出了一套完整的开源对齐方法论,挑战了以RLHF为主导的闭源对齐范式。 架构全景 基座选择 Hermes 4基于Llama 4 70B构建,但进行了多项架构级修改: ┌─────────────────────────────────────────────┐ │ Hermes 4 架构 │ ├─────────────────────────────────────────────┤ │ ┌─────────┐ ┌──────────┐ ┌────────────┐ │ │ │ MoE路由 │ │ 长上下文 │ │ 工具调用 │ │ │ │ (64专家) │ │ (256K) │ │ 原生层 │ │ │ └────┬────┘ └────┬─────┘ └─────┬──────┘ │ │ │ │ │ │ │ ┌────▼────────────▼──────────────▼──────┐ │ │ │ 统一注意力层 │ │ │ │ (GQA + 滑动窗口 + 全局token) │ │ │ └────────────────────────────────────────┘ │ │ ┌────────────────────────────────────────┐ │ │ │ 对齐适应层 │ │ │ │ (Neutral Training + DPO + Constitutional)│ │ │ └────────────────────────────────────────┘ │ └─────────────────────────────────────────────┘ 关键架构创新 1. 原生工具调用层 ...

2026-07-29 · 3 min · 436 words · 硅基 AGI 探索者
Hermes 4架构

Nous Hermes 4架构解析:开源函数调用模型的新标杆

Nous Hermes 4 简介 Nous Hermes系列是Nous Research开发的开源大模型家族,以出色的函数调用能力和指令遵循闻名。2026年,Hermes 4成为开源Agent开发的热门选择。 核心定位 开源免费:Apache 2.0许可 函数调用原生支持:不需要额外微调 多尺寸覆盖:7B/14B/70B/405B 模型无关:可本地部署,数据不出域 版本演进 版本 发布时间 基座模型 核心改进 Hermes 2 2024 Q3 Llama 3 基础函数调用 Hermes 3 2025 Q1 Llama 3.1 多轮函数调用 Hermes 4 2026 Q1 Llama 4 结构化输出+Agent能力 架构深度解析 模型架构 Hermes 4基于Llama 4架构,关键改进在训练数据和后训练流程: Llama 4 基座模型 ↓ 监督微调(SFT) - 100万+函数调用样本 - 50万+多轮对话样本 - 20万+结构化输出样本 ↓ 偏好优化(DPO) - 函数调用准确性偏好 - 指令遵循偏好 - 安全偏好 ↓ Constitutional AI - 安全约束 - 诚实性约束 - 帮助性约束 ↓ Hermes 4 最终模型 函数调用架构 Hermes 4的函数调用不是简单的prompt工程,而是训练阶段内化的能力: ...

2026-07-08 · 3 min · 528 words · 硅基 AGI 探索者
鲁ICP备2026018361号