上下文

引言 单轮Prompt优化已有成熟方法论，但多轮对话场景引入了新的复杂性：上下文累积导致token膨胀、话题切换导致注意力分散、历史信息可能导致指令漂移。本文针对多轮对话的特有挑战，提出系统化的Prompt优化策略。 多轮对话的核心挑战 上下文膨胀 随着对话轮数增加，历史消息不断累积，导致：token消耗线性增长、超出上下文窗口限制、模型对早期信息注意力衰减、首token延迟增加。 话题漂移 用户在多轮对话中可能切换话题，导致：系统Prompt的指令被"冲淡"、早期设定的人物角色被遗忘、约束条件随轮数增加而弱化。 一致性问题 模型在不同轮次中对同一问题的回答可能不一致：前面给出的信息后面被修改、角色设定随对话深入而偏离、风格和语气发生变化。 上下文管理策略 策略一：消息摘要压缩 定期对历史对话进行摘要压缩，用摘要替代原始消息： def manage_context(messages, max_messages=20, summary_threshold=10): """管理对话上下文""" if len(messages) <= max_messages: return messages # 保留最近N条消息 recent = messages[-max_messages:] # 对较早的消息进行摘要 old_messages = messages[:-max_messages] if len(old_messages) > 3: summary = summarize_conversation(old_messages) return [ {"role": "system", "content": f"对话历史摘要：{summary}"}, *recent ] return messages 摘要频率和粒度的权衡：频繁摘要增加计算成本但信息保留更好；稀疏摘要成本低但可能丢失细节。建议每10-15轮进行一次摘要。 策略二：关键信息提取 不摘要整个对话，而是提取关键信息点： # 对话关键信息（系统维护） - 用户姓名：张三 - 用户需求：设计一个电商API - 已确定的技术栈：FastAPI + PostgreSQL - 已完成：数据模型设计 - 当前阶段：接口设计 - 待解决问题：认证方案选择 这种方式比全文摘要更紧凑，且关键信息不会在摘要中被遗漏。 策略三：分层上下文 将上下文分为不同层级，按优先级管理： # 永久上下文（不压缩） - 系统Prompt - 用户画像 - 会话目标 # 重要上下文（压缩后保留） - 关键决策记录 - 已确认的需求 - 重要的中间结果 # 临时上下文（可丢弃） - 非关键闲聊 - 已完成的子任务讨论 - 已过时的中间结果 指令持久化策略 定期重申关键指令 在多轮对话中，关键约束可能被淡化。策略：每隔N轮或在检测到话题切换时，重新注入关键指令。 ...

1. 长上下文的挑战 大语言模型的上下文长度直接决定了其处理长文档、多轮对话和复杂推理的能力。然而，扩展上下文长度面临三重挑战： 位置编码外推：RoPE 等位置编码在超出训练长度后性能急剧下降 注意力计算复杂度：标准注意力的 O(n²) 复杂度在长序列下不可接受 训练成本：长序列训练的显存和时间成本线性甚至二次增长 训练长度 4K 的模型在不同上下文长度下的表现: ┌──────────────┬──────────┬─────────────────────────┐ │ 上下文长度 │ 困惑度 │ Passkey Retrieval 准确率 │ ├──────────────┼──────────┼─────────────────────────┤ │ 4K (训练内) │ 5.82 │ 100% │ │ 8K (2x) │ 7.31 │ 12% │ │ 16K (4x) │ 12.44 │ 0% │ │ 32K (8x) │ 28.71 │ 0% │ └──────────────┴──────────┴─────────────────────────┘ 问题根源: RoPE 在超出训练范围后，旋转角度超出模型见过的范围 2. 位置插值（Position Interpolation） 2.1 核心思想 Chen 等人 (2023) 提出的 Position Interpolation (PI) 是最简单直接的方案：将推理时的位置索引压缩到训练范围内。 ...

1. 为什么长上下文重要？ 4K 上下文只能容纳约 3000 字的文档。要处理整本书、代码仓库或长对话，需要 32K-1M 的上下文窗口。但直接训练长上下文模型面临三大挑战： 训练成本：Attention 复杂度 $O(n^2)$，32K 上下文的计算量是 4K 的 64 倍 位置编码外推：训练时未见过的位置编码效果不可控 显存占用：KV Cache 随序列长度线性增长 2. 位置编码外推 2.1 Position Interpolation (PI) 最简单的方法：将位置索引线性缩放到训练范围内。 $$ m’ = m \cdot \frac{L_{train}}{L_{target}} 4K 训练 → 8K 推理时，位置 $m$ 缩放为 $m \times 0.5$。 **问题：** 高频分量被等比缩放，局部注意力模式被破坏。短距离关系（如相邻 Token）的编码精度下降。 ### 2.2 NTK-aware Interpolation NTK（Neural Tangent Kernel）理论指出，高频分量需要保留，低频分量可以缩放。修改 RoPE 的 base： $$ b' = b \cdot s^{d/(d-2)} 其中 $s = L_{target} / L_{train}$ 是扩展倍数，$d$ 是 Head 维度。 ...