终身学习

AI的记忆困境 人类记忆是令人惊叹的——我们可以记住几十年前的事情，在不忘记旧知识的情况下学习新知识，在需要时灵活检索相关记忆。 AI的记忆远不如人类。当前LLM的"记忆"有三种形式，每种都有严重局限： 上下文窗口：容量有限（即使是10M的Claude 5也有上限），“忘记"上下文之外的信息 模型权重：训练后固定，不能更新（除非重新训练），存在"灾难性遗忘” 外部数据库（RAG）：检索不精确，无法进行记忆"整合"和"推理" 人脑的记忆系统 人脑有多个记忆系统，各有不同功能： 感觉记忆（<1秒） 短暂保留感官信息，如视觉的"后像"。 短期记忆（30秒-几分钟） 临时存储当前任务相关信息，容量有限（7±2项）。 长期记忆 情景记忆：具体事件的记忆（“昨天在咖啡馆见了朋友”） 语义记忆：一般知识的记忆（“巴黎是法国首都”） 程序记忆：技能和习惯（“骑自行车”） 工作记忆 在短期记忆的基础上进行推理和操作，是人脑的"工作台"。 终身记忆 通过巩固和整合，人脑可以保持终身记忆，并从中提取抽象知识。 AI记忆的层次化架构 第一层：上下文记忆（已有） 当前LLM的上下文窗口。相当于人脑的"感觉记忆+短期记忆"。 2026年的进步：Claude 5的10M上下文窗口已经可以处理完整书籍或代码库，但仍无法处理"一生的经历"。 第二层：工作记忆（发展中） LLM在推理过程中使用的"草稿纸"。相当于人脑的"工作记忆"。 2026年的实现方式： 思维链（CoT）：LLM在回答前的推理过程 思维树（ToT）：多条推理路径的并行探索 外部工作区：LLM在推理过程中"写出"中间结果 class WorkingMemory: def __init__(self): self.facts = [] # 已知事实 self.hypotheses = [] # 假设 self.derivations = [] # 推导结果 def add(self, item, type): if type == "fact": self.facts.append(item) elif type == "hypothesis": self.hypotheses.append(item) # ... def retrieve(self, query, top_k=5): # 基于相关性检索 all_items = self.facts + self.hypotheses + self.derivations return semantic_search(query, all_items, top_k) 第三层：情景记忆（发展中） AI对具体交互事件的记忆。相当于人脑的"情景记忆"。 2026年的实现： 对话历史：保存与用户的交互记录 会话摘要：将长对话压缩为关键信息 时间索引：按时间检索记忆 ChatGPT的记忆功能是情景记忆的初步实现——它能记住用户在之前对话中提到的偏好。但功能有限且不可靠。 第四层：语义记忆（部分实现） AI的一般知识库。相当于人脑的"语义记忆"。 2026年的实现： 模型权重：训练数据中的知识被"存储"在权重中 知识图谱：结构化的知识表示 向量数据库：RAG系统的基础 挑战：如何在不重新训练的情况下更新语义记忆？这是"持续学习"的核心问题。 第五层：终身记忆（未实现） AI能够在其整个"生命周期"中持续积累和整合记忆。这是AI记忆架构的终极目标。 ...

引言 人类的记忆是一个复杂的分层系统：感觉记忆、短期记忆、长期记忆，各有不同的容量、持续时间和检索机制。AI Agent的记忆系统也遵循类似的分层设计原则，但具体实现截然不同。 2026年，随着Agent需要在长时间跨度上执行复杂任务，记忆架构已经成为决定Agent能力上限的关键因素。本文将从认知科学和工程实践两个角度，深入探讨Agent记忆架构的设计。 一、记忆的分类体系 1.1 工作记忆（Working Memory） 工作记忆对应Agent的当前上下文窗口。它容量有限（2026年主流模型为128K-2M tokens），但访问速度最快。 工作记忆中存储的信息包括： 当前任务的描述和目标 最近的对话历史 正在处理的中间结果 活跃的工具调用结果 设计要点：工作记忆的管理核心是"什么该保留，什么该遗忘"。实践中，我们采用注意力衰减策略：越早的信息权重越低，当上下文接近满时，优先淘汰低权重信息。 1.2 情节记忆（Episodic Memory） 情节记忆记录Agent经历的具体事件——什么时候、在什么场景下、做了什么、结果如何。 每个情节记忆条目的结构： { "episode_id": "ep-001", "timestamp": "2026-07-01T14:30:00Z", "context": { "task": "数据分析报告", "environment": "production" }, "action": "执行了SQL查询分析用户行为", "result": "发现用户留存率下降15%", "outcome": "positive", "lessons": ["留存下降与新版UI发布时间吻合"] } 1.3 语义记忆（Semantic Memory） 语义记忆存储Agent学到的知识和事实，脱离了具体情境。例如"PostgreSQL在处理JSONB类型时性能优于JSON类型"。 语义记忆通常以知识图谱或向量数据库的形式存储，支持高效的语义检索。 1.4 程序记忆（Procedural Memory） 程序记忆存储Agent的技能和操作流程——如何使用某个工具、如何执行某类任务。这类似于人类的肌肉记忆。 在实现上，程序记忆可以是一组可复用的Prompt模板、工具使用模式或工作流定义。 二、记忆存储架构 2.1 三层存储模型 ┌─────────────────────────────────────┐ │ 工作记忆（LLM上下文） │ ← 快速，容量小 ├─────────────────────────────────────┤ │ 会话记忆（Redis / 内存数据库） │ ← 中速，中等容量 ├─────────────────────────────────────┤ │ 长期记忆（向量DB + 知识图谱 + 关系DB） │ ← 慢速，大容量 └─────────────────────────────────────┘ 2.2 向量数据库选择 2026年主流向量数据库对比： ...