LLM 记忆系统知识体系全图
🧠 LLM 记忆系统知识体系全图
从短期记忆到长期记忆,从 RAG 到知识图谱——一图梳理 LLM 记忆系统的完整知识体系。
全景总览
LLM 记忆系统
├── 📋 记忆分类
│ ├── 🔄 短期记忆(Context Window)
│ └── 💾 长期记忆(External Memory)
├── 🏗️ 架构范式
│ ├── 🔍 检索增强生成(RAG)
│ ├── 📊 向量数据库
│ ├── 🕸️ 知识图谱
│ ├── 📝 逐字/日志存储
│ └── 🧩 混合架构
├── ⚙️ 关键技术
│ ├── 🎯 向量化(Embedding)
│ ├── 🔎 检索策略
│ ├── ✍️ 写入策略
│ ├── ⏰ 唤醒/遗忘策略
│ └── 🔄 记忆压缩与抽象
├── 🏛️ 代表性系统
│ ├── Mem0
│ ├── MemPalace
│ ├── OpenClaw Memory
│ ├── Letta (MemGPT)
│ └── LangChain Memory
├── 📏 评估方法
│ ├── 基准测试(Benchmarks)
│ └── 评估维度
└── 🚀 未来方向
一、📋 记忆分类
🔄 短期记忆(Working Memory / Context Window)
LLM 的"工作记忆",即上下文窗口内的信息。
短期记忆
├── 📌 定义:当前对话上下文窗口中保持的信息,会话结束即消失
├── 📐 容量限制:受模型上下文长度约束(8K ~ 1M+ tokens)
├── 📝 典型实现:
│ ├── 直接拼接对话历史
│ ├── 滑动窗口截断旧消息
│ ├── 摘要压缩(将旧对话压缩为摘要)
│ └── Token 桶管理(优先保留关键信息)
└── ⚠️ 局限:无法跨会话、无法累积学习、信息密度低
💾 长期记忆(Long-term Memory / External Memory)
持久化存储在外部系统中的结构化或非结构化信息,可跨会话使用。
长期记忆
├── 📌 定义:持久化存储的用户偏好、经历、知识,可跨会话检索
├── 🏗️ 存储形态:
│ ├── 向量库(语义检索)
│ ├── 键值存储(精确查找)
│ ├── 知识图谱(关系推理)
│ ├── 文件系统(日志/快照)
│ └── 混合存储(多种形态组合)
├── 🎯 核心能力:读(检索)+ 写(记忆)+ 忘(遗忘)+ 更新
└── 🔑 关键挑战:什么时候记?记什么?怎么记?怎么忘?
📊 短期 vs 长期记忆对比
| 维度 | 短期记忆 | 长期记忆 |
|---|---|---|
| 持久性 | 会话结束即消失 | 持久化存储 |
| 容量 | 受上下文窗口限制 | 理论上无限 |
| 访问方式 | 直接可见 | 需要检索 |
| 信息精度 | 逐字逐句 | 语义级别 |
| 成本 | 占用 context tokens | 存储和检索成本 |
| 类比 | 人的"注意力" | 人的"记忆" |
二、🏗️ 架构范式
🔍 检索增强生成(RAG)
RAG 架构
├── 📌 核心思想:从外部知识库检索相关片段,注入 prompt 辅助生成
├── 📊 流程:
│ 用户查询 → Embedding → 向量检索 → 上下文拼接 → LLM 生成
├── ✅ 优势:实现简单、效果稳定、无需训练
├── ❌ 局限:检索质量依赖 embedding 和分块策略、缺乏推理能力
└── 🔄 变体:
├── Naive RAG(基础检索)
├── Advanced RAG(查询改写、重排序、多跳检索)
└── Modular RAG(路由、微调、自适应检索)
📊 向量数据库(Vector DB)
向量数据库
├── 📌 以高维向量表示记忆片段,通过相似度检索访问
├── 🏗️ 主流方案:
│ ├── 🟢 云原生:Pinecone、Weaviate、Zilliz
│ ├── 🟡 自托管:Milvus、Qdrant、Chroma
│ └── 🔵 轻量嵌入:sqlite-vec、FAISS(本地文件)
├── 🔑 关键参数:维度、距离度量(余弦/欧氏/内积)、索引类型
└── ⚡ 检索方式:ANN 近似最近邻(HNSW、IVF、PQ)
🕸️ 知识图谱(Knowledge Graph)
知识图谱记忆
├── 📌 以实体-关系-实体的三元组结构存储记忆,支持推理
├── 🏗️ 构建方式:
│ ├── LLM 自动抽取(从对话中提取实体和关系)
│ ├── 人工定义 schema
│ └── 混合方式(schema 引导 + 自动抽取)
├── ✅ 优势:结构清晰、支持多跳推理、关系显式化
├── ❌ 局限:构建成本高、schema 设计困难、灵活性低
└── 🛠️ 工具:Neo4j、LightRAG、GraphRAG、Microsoft GraphRAG
📝 逐字/日志存储(Verbatim / Journal Storage)
日志存储
├── 📌 原样保存对话记录和事件日志,配合搜索索引访问
├── 📊 典型实现:
│ ├── JSONL 日志文件(每条消息一行)
│ ├── Markdown 日记(每日笔记)
│ └── SQLite 全文检索
├── ✅ 优势:信息无损、实现极简、调试友好
├── ❌ 局限:检索效率低、语义理解弱
└── 💡 适用场景:对话回放、审计、混合架构的底层存储
🧩 混合架构(Hybrid Architecture)
混合记忆架构
├── 📌 结合多种存储形态,取长补短
├── 🏗️ 典型组合:
│ ├── 向量库 + 知识图谱(语义检索 + 关系推理)
│ ├── 向量库 + 关键词搜索(语义 + 精确匹配)
│ ├── 日志存储 + 向量索引(原始数据 + 语义访问)
│ └── 分层记忆(工作记忆 + 情景记忆 + 语义记忆)
├── 🌟 代表:
│ └── OpenClaw Memory(MEMORY.md 长期记忆 + 向量检索 + 日志存储)
└── 🔑 设计原则:根据访问模式选择存储,而非一刀切
三、⚙️ 关键技术
🎯 向量化(Embedding)
Embedding 技术
├── 📌 将文本映射到高维向量空间,语义相近的文本距离更近
├── 📊 主流模型:
│ ├── OpenAI:text-embedding-3-small/large
│ ├── 开源:bge-m3、gte-qwen2、nomic-embed-text
│ ├── 多模态:CLIP(图文联合嵌入)
│ └── 领域微调:针对特定场景 fine-tuned 的嵌入模型
├── 🔑 关键考量:维度 vs 精度 vs 成本 vs 延迟
└── 📐 分块策略(Chunking):
├── 固定长度分块
├── 语义分块(按句子/段落边界)
└── 递归分块(分层拆分)
🔎 检索策略
检索策略
├── 📊 单路检索:
│ ├── 向量相似度检索(ANN)
│ ├── BM25 关键词检索
│ └── 全文检索(FTS)
├── 🔄 多路混合检索:
│ ├── 向量 + 关键词(Reciprocal Rank Fusion)
│ ├── 向量 + 知识图谱
│ └── 多查询扩展(Query Expansion)
├── 🎯 高级检索:
│ ├── 查询改写(Query Rewriting)
│ ├── HyDE(假设性文档嵌入)
│ ├── 重排序(Reranking:Cohere/bge-reranker)
│ └── 多跳检索(Multi-hop Retrieval)
└── 📏 过滤条件:时间范围、来源、标签、元数据
✍️ 写入策略(Memory Writing)
写入策略
├── 📌 决定"什么时候写、写什么、怎么写"
├── 🕐 触发时机:
│ ├── 实时写入(每条消息后)
│ ├── 批量写入(会话结束后摘要)
│ ├── 定时写入(cron 周期性整理)
│ └── 事件驱动(用户明确要求"记住这个")
├── 📝 写入内容:
│ ├── 原文存储(逐字记录)
│ ├── 摘要提取(LLM 压缩为要点)
│ ├── 事实抽取(实体、偏好、决策)
│ └── 教训记录(错误纠正、经验总结)
└── 🔄 去重与合并:避免重复记忆、合并相似信息
⏰ 唤醒与遗忘策略
唤醒与遗忘
├── ⏰ 唤醒策略(什么时候想起记忆):
│ ├── 语义相似度触发(用户消息匹配记忆)
│ ├── 时间触发(定时检查、周期回顾)
│ ├── 事件触发(特定场景/关键词)
│ └── 主动回忆(空闲时整理近期记忆)
├── 🗑️ 遗忘策略(什么时候删除记忆):
│ ├── TTL 过期(时间衰减)
│ ├── 访问频率衰减(久不访问的淡忘)
│ ├── 冲突覆盖(新信息替代旧信息)
│ ├── 用户主动删除
│ └── 归档(冷热分层,不删但降优先级)
└── 🎯 目标:像人类一样——重要的记得牢,琐碎的自然忘记
🔄 记忆压缩与抽象
记忆压缩
├── 📌 将大量原始记忆压缩为精炼的知识
├── 📊 压缩方式:
│ ├── 对话摘要(长对话 → 几句话)
│ ├── 事实抽取(对话 → 结构化事实)
│ ├── 主题聚类(相似记忆合并)
│ ├── 层级抽象(细节 → 概括 → 原则)
│ └── 记忆蒸馏(从日志提炼到长期记忆文件)
├── 🌟 代表模式:
│ └── OpenClaw:每日笔记 → MEMORY.md(原始日志精选为长期记忆)
└── ⚖️ 权衡:压缩越多越节省空间,但丢失细节越多
四、🏛️ 代表性系统
🏛️ 系统全景对比
| 系统 | 核心特点 | 记忆类型 | 开源 |
|---|---|---|---|
| Mem0 | 自动记忆提取、用户/会话/Agent 分层 | 向量 + 结构化 | ✅ |
| MemPalace | 记忆宫殿隐喻、分层记忆管理 | 多层抽象 | ✅ |
| OpenClaw Memory | 文件即记忆 + 向量检索 + 摘要蒸馏 | 混合 | ✅ |
| Letta (MemGPT) | 虚拟上下文管理、OS 风格内存分页 | 分层 + 向量 | ✅ |
| LangChain Memory | 多种记忆后端、与 LLM Chain 深度集成 | 可插拔 | ✅ |
| Khoj | 个人 AI 助手、自动记忆 + 搜索 | 混合 | ✅ |
| Zep | 长期对话记忆服务 | 向量 + 摘要 | ✅ |
Mem0
Mem0
├── 📌 面向 AI 应用的记忆层,自动从交互中提取和管理记忆
├── 🏗️ 核心架构:
│ ├── 记忆提取(LLM 自动识别值得记忆的信息)
│ ├── 记忆存储(向量库 + 图数据库)
│ ├── 记忆检索(语义搜索 + 过滤)
│ └── 记忆更新(冲突解决、增量更新)
├── 👤 分层管理:用户记忆、会话记忆、Agent 记忆
├── 🔗 集成:OpenAI、LangChain、LlamaIndex 等
└── 🌐 https://github.com/mem0ai/mem0
MemPalace
MemPalace
├── 📌 基于记忆宫殿隐喻的分层记忆管理系统
├── 🏗️ 核心思想:
│ ├── 模拟人类记忆宫殿的空间组织方式
│ ├── 记忆按主题和重要性分层放置
│ ├── 支持记忆的联想和关联
│ └── 记忆提取和推理能力
├── 🎯 优势:结构化强、可解释性好
└── 🌐 https://github.com/AkariAsai/MemoryPalace
OpenClaw Memory
OpenClaw Memory
├── 📌 文件即记忆——用 Markdown 文件作为记忆载体
├── 🏗️ 架构:
│ ├── MEMORY.md(长期记忆,精选的重要信息)
│ ├── memory/YYYY-MM-DD.md(每日笔记,原始记录)
│ ├── 向量检索(memory_search 语义搜索)
│ └── 会话搜索(tdai_conversation_search)
├── 🔄 记忆生命周期:
│ 每日笔记 → 心跳整理 → 提炼到 MEMORY.md → 归档旧文件
├── ✅ 优势:人类可读、可编辑、透明、零供应商锁定
├── 💡 设计哲学:像人一样管理记忆——记笔记、回顾、提炼
└── 🌐 OpenClaw 核心,开源
Letta (MemGPT)
Letta (原 MemGPT)
├── 📌 受操作系统虚拟内存启发的分层记忆管理
├── 🏗️ 核心架构:
│ ├── 主上下文(Main Context)→ 类似 RAM
│ ├── 回忆存储(Recall Store)→ 类似硬盘
│ ├── 归档存储(Archival Store)→ 类似冷存储
│ └── Agent 自主决定何时读/写/换页
├── 🎯 优势:Agent 有自主记忆管理能力
├── 💡 创新:将 OS 内存管理的思想引入 LLM 记忆
└── 🌐 https://github.com/letta-ai/letta
五、📏 评估方法
📊 基准测试(Benchmarks)
评估基准
├── 📋 LOCOMO(Long Context Memory Benchmark)
│ ├── 评估模型的长上下文理解和记忆能力
│ └── 涵盖:信息检索、推理、更新
├── 📋 MemBench
│ ├── 专门针对 LLM 记忆系统的评测
│ └── 关注:记忆写入、检索、更新、删除
├── 📋 LongBench
│ ├── 长文本理解能力基准
│ └── 包含摘要、检索、生成等任务
├── 📋 MUSR(Multi-Step Retrieval)
│ ├── 多步推理检索评测
│ └── 测试复杂查询下的记忆召回
└── 📋 自定义评估
├── 记忆命中率(Recall@K)
├── 记忆准确率(Precision@K)
└── 记忆新鲜度(时效性指标)
📏 评估维度
评估维度
├── 🎯 检索质量
│ ├── 准确率(Precision):返回的结果有多少是相关的
│ ├── 召回率(Recall):相关信息有多少被找到
│ └── MRR / nDCG:排序质量
├── ⏱️ 延迟与吞吐
│ ├── 检索延迟(p50/p95/p99)
│ └── 写入吞吐(QPS)
├── 💰 成本
│ ├── 存储 cost(向量库、embedding API)
│ └── 推理 cost(额外 context tokens)
├── 🔄 一致性
│ ├── 记忆冲突解决是否正确
│ └── 重复记忆是否被合并
└── 👤 用户体验
├── 记忆是否"自然"(不过度也不遗漏)
└── 隐私和安全(哪些该记、哪些不该记)
六、🚀 未来方向
未来方向
├── 🧠 自主记忆管理
│ └── Agent 自主决定记什么、忘什么、什么时候回忆
├── 🕸️ 深度推理 + 记忆
│ └── 结合 Chain-of-Thought、思维树等推理能力增强记忆质量
├── 📚 从记忆中学习
│ └── 不只是存储-检索,而是从记忆中提炼策略和知识
├── 🔄 多 Agent 共享记忆
│ └── Agent 团队之间的记忆共享和协作
├── 🎭 个性化记忆
│ └── 不同用户的记忆风格、记忆深度自适应
├── 🔒 隐私优先记忆
│ └── 本地优先、端侧推理、差分隐私
├── ⏰ 时间感知记忆
│ └── 更自然的时间衰减、事件时序建模
├── 🌐 多模态记忆
│ └── 图片、音频、视频的记忆存储与检索
└── 📐 记忆标准化
└── 行业统一的记忆格式、接口和评估标准
📚 延伸阅读
| 资源 | 说明 |
|---|---|
| Mem0 文档 | 开源记忆层 |
| Letta/MemGPT 论文 | 虚拟上下文管理的开创性工作 |
| MemPalace 论文 | 分层记忆管理 |
| Microsoft GraphRAG | 基于知识图谱的 RAG |
| LightRAG | 轻量级图增强 RAG |
| LangChain Memory | LLM 记忆模块 |
| LOCOMO Benchmark | 长上下文记忆评测 |
📝 本文档最后更新:2026-04-26 | 作者:金豆 🐱