论文解读

问题：基座模型会说话，但不听话 预训练出来的基座大模型，本质是「续写文本」的机器——你给它一段，它往下接，但未必按你的指令办：你让它写邮件，它可能接着聊天气；你让它简洁，它可能滔滔不绝。也就是说，它有知识、有能力，却没有「听懂并遵从人类意图」的对齐。OpenAI 的 InstructGPT（2022）系统地解决了这个问题，它的方法后来被称为 RLHF（基于人类反馈的强化学习），成了 ChatGPT 这类对话模型的直接源头。 方法：对齐三部曲 RLHF 分三步。第一步，监督微调（SFT）：人工写一批高质量的「指令—回答」示例，让模型先学会基本的听话格式。第二步，训练奖励模型（RM）：针对同一个问题，让模型生成多个回答，由人类标注员排序哪个好哪个差，用这批排序数据训一个奖励模型，学会给「人类更喜欢的回答」打高分。第三步，强化学习微调：把大模型当作策略，在不破坏原有能力的前提下，用 PPO 算法优化它，让它生成的回答尽量拿到奖励模型的高分。这套流程让模型从「会续写」变成「会好好回答问题」。 DPO：绕开强化学习的捷径 RLHF 效果好，但工程复杂——要同时跑两个模型、调 PPO、防奖励模型被钻空子。2023 年提出的 DPO（Direct Preference Optimization）证明了一件事：其实不用显式训练奖励模型、也不用跑强化学习，只要直接用偏好数据，通过一个简单的损失函数，就能把模型往「人类更喜欢的方向」推。DPO 把对齐简化成了一次有监督式的训练，稳定性高、成本低，迅速被开源社区（LLaMA-Factory、Axolotl 等）采用。后续又有 ORPO 等方法把 SFT 与偏好优化合并，进一步压缩流程。 结论与启示 从 InstructGPT 到 DPO，这条线的演进逻辑很清楚：对齐的目标没变——让模型符合人类偏好；变的是方法，从复杂的三段式 RLHF 走向更简单、更稳的直接偏好优化。这背后的洞察是：偏好数据本身就包含了足够的信号，不必非经过「显式奖励再加强化学习」这个迂回。对实践者而言，DPO 这类方法让「用自己的偏好数据对齐一个开源模型」从博士级工程变成了可复现的常规操作。 收束 对齐是把「有能力」变成「可用、可靠、听人话」的关键一步。RLHF 证明了这条路可行，DPO 让它平民化。理解这套演进，你就明白了为什么今天随便一个开源模型都能通过几百条偏好样本被调成对话助手——对齐不再是大厂的独门绝技，而是人人可上手的标准工序。 去论坛讨论 关于「RLHF」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

问题：闭卷模型的知识有三个死穴 纯生成式大模型闭卷答题，知识全部冻结在训练那一刻的权重里。这带来三个硬伤：一是过时，训练截止之后的事它不知道；二是幻觉，它会一本正经编造没见过的事实；三是不可溯源，你不知道它的答案从哪来。要让模型掌握私有、实时、可引用的知识，靠重新训练或微调既慢又贵。RAG（Retrieval-Augmented Generation，检索增强生成）给出了另一条路：不把知识塞进权重，而是在生成时临时去外部知识库「开卷」查资料，再基于查到的内容作答。 方法：先检索，再生成 Lewis 等人 2020 年的原始论文把这个过程拆成两步。第一步，给定问题，用一个检索器（早期是 DPR，基于稠密向量相似度）从文档库里召回若干最相关的片段。第二步，把这些片段连同问题一起塞进生成模型的上下文，让模型基于这些证据组织答案。论文证明，把检索结果当作额外知识注入，在开放域问答上显著优于纯参数化模型，而且答案能指回具体来源。 为什么它在工程界火到今天 原始论文是学术原型，但 RAG 的思想在 2023 年后被工程界发扬光大，成为企业落地大模型的标配。原因很实在：知识库可以随时增删改——新文档进来，只要加进索引即可，不用重训模型；答案带引用，出了错能查到是哪份文档的问题；私有数据不用进训练集，只在检索时可见，隐私边界更清晰。今天的 RAG 系统已经演化出混合检索（向量加关键词）、重排序（rerank）、分块策略、查询改写等一整套工程技巧，核心仍是「检索给证据，生成来作答」这个闭环。 结论与局限 RAG 的结论是：把实时、可溯源的外部知识与生成能力解耦，是比死记硬背更可持续的知识接入方式。它大幅缓解了幻觉与时效性问题。但它不是万能药——检索不到相关文档时，模型照样会瞎编；分块切得不好，证据残缺；长上下文塞不下所有召回内容，又要做取舍。所以 RAG 的效果上限，往往不取决于生成模型多强，而取决于检索、分块、重排这套前端工程做得多细。 收束 RAG 的洞见是：与其期望模型把一切都背下来，不如让它学会查资料。这恰好契合「知识在权重之外持续更新」的现实。对企业而言，一套做得扎实的 RAG，性价比远高于反复微调——把知识库维护好，比把模型喂胖，更能解决真实业务问题。 去论坛讨论 关于「RAG」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

问题：稠密模型的算力墙 大模型越训越大，但稠密 Transformer 有个硬约束：每来一个 token，全部参数都要参与计算。于是参数翻倍，推理算力也近似翻倍——70B 模型就已经吃掉不少显存，再往上堆，单卡根本扛不住。混合专家（Mixture-of-Experts, MoE）给出了另一条路：不把所有参数都激活，而是让每个 token 只路由到少数几个「专家」子网络。这样总参数量可以做得极大，但每次计算只动用其中一小部分，用稀疏激活换取参数规模的暴涨。 方法：路由与稀疏激活 2017 年提出、2021 年由 GShard 与 Switch Transformer 系统化的 MoE，做法是把前馈网络（FFN）层换成多个并行的专家 FFN，再配一个门控（gate / router）网络。门控对每个 token 算它该分给哪几个专家，通常只选 top-2 个。比如一个 8 专家、每 token 激活 2 个的层，总参数量是 8 份，但每次计算只跑 2 份。这就是「总参数大、激活参数小」的来源。 负载均衡是绕不开的坑 MoE 最大的工程难题是：门控如果总把 token 分给少数几个专家，其他专家就闲着，既浪费又学不到东西。所以训练里要加负载均衡损失，强迫 token 均匀分布到各专家。DeepSeek 系列进一步提出细粒度专家与共享专家：把专家切得更细，再留几个所有 token 都用的共享专家，既提升了路由灵活性，又减少了冗余。Mixtral-8x7b 则用极简的 top-2 路由，证明稀疏 MoE 能在开放权重圈跑通，推理成本却远低于同质量的稠密模型。 结论：能力与成本的权衡 MoE 的结论很清晰：在同等激活算力下，MoE 能训出比稠密模型强得多的能力，因为它的总知识容量大得多。DeepSeek-V3、Qwen 等 2024 年后的强模型普遍采用 MoE，总参数百 B 而激活只几 B 到几十 B。但代价也实在：一是显存，所有专家权重都得装在显存里，总参数大意味着推理时显存占用并不低；二是路由不稳定、专家崩塌等训练工程问题。所以 MoE 不是免费午餐，它把「算力墙」换成了「显存墙与工程墙」。 收束 MoE 的核心洞见是：不是所有 token 都需要动用所有能力。把模型拆成各司其职的专家，按需调用，是 scaling law 之外另一条扩模思路。理解「总参数 vs 激活参数」这组概念，再看 DeepSeek 这类模型的成本优势，就不会被「320B 但只要几十 B 算力」的宣传绕晕——它强，是因为参数多；它便宜，是因为每次只醒一小部分。 ...

问题：之前的序列建模太慢 2017 年之前，处理文本这类序列的主流是 RNN、LSTM 这类循环网络。它们一个时间步一个时间步地读，无法并行——必须读完第 1 个词才能算第 2 个，长序列训练慢到难以忍受。更糟的是，距离很远的两个词之间要经过几十步循环才能「联系」上，梯度在传播中容易消失，长程依赖学不牢。Google 的这篇论文提出一个激进主张：彻底丢掉循环和卷积，只用注意力机制（self-attention）来建模整个序列。结果它在机器翻译上不仅更快，而且效果更好。这就是 Transformer，后来一切大模型的地基。 核心：自注意力到底在算什么 自注意力的本质是让序列中每个词，去「看」其他所有词，并按相关程度加权汇总信息。它用三个可学习矩阵把每个词向量投影成 Query（我在找什么）、Key（我有什么）、Value（我能提供什么）。词与词之间用 Query 和 Key 点积算相似度，softmax 归一化成权重，再对 Value 加权求和。这个计算可以完全并行——所有词的注意力同时算，这是它比 RNN 快的根本。 多头与位置编码 单头注意力只能捕捉一种关系，于是论文用多头（multi-head）：把向量切成多组，每组独立做注意力，最后拼接。不同的头可以学不同的关系——有的头关注语法邻近，有的头关注指代照应。另一个关键细节是位置编码：注意力本身对词序无感（打乱顺序结果一样），所以必须给每个位置加一个位置信号，让模型知道谁先谁后。原始论文用正余弦函数，后来的模型多改用可学习的位置嵌入或旋转位置编码（RoPE）。 结论与影响 论文在 WMT 2014 英德、英法翻译任务上刷新了当时的最优，训练成本却远低于此前模型。更重要的是它留下了可扩展性：堆叠更多层、喂更多数据，性能就持续涨——这个 scaling law 的苗头，直接催生了后来 GPT、BERT 一路堆上去的路线。2017 年它只是一个更好的翻译模型，到 2026 年，从语言到图像（ViT）到视频，几乎所有模态都长在了这套注意力骨架上。 收束 回看这篇论文，真正的洞见不是某个技巧，而是「用并行的全局关联替代串行的递推」这个范式转换。它把序列建模从时间依赖解放成了可大规模并行的矩阵运算，才让今天的算力堆叠成为可能。理解自注意力、多头、位置编码这三件事，就理解了大模型为什么能、以及为什么这样运转。 去论坛讨论 关于「Transformer」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。