[{"data":1,"prerenderedAt":14},["ShallowReactive",2],{"$fkQyvUEX7IQ8ZR3kyww7L4m8pD-bhXLnT1HeWU5O5w8Q":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":13},98,"LLM 记忆系统知识体系全图","llm-memory-systems-knowledge-map","# 🧠 LLM 记忆系统知识体系全图\n\n> 从短期记忆到长期记忆，从 RAG 到知识图谱——一图梳理 LLM 记忆系统的完整知识体系。\n\n---\n\n## 全景总览\n\n```\nLLM 记忆系统\n├── 📋 记忆分类\n│   ├── 🔄 短期记忆（Context Window）\n│   └── 💾 长期记忆（External Memory）\n├── 🏗️ 架构范式\n│   ├── 🔍 检索增强生成（RAG）\n│   ├── 📊 向量数据库\n│   ├── 🕸️ 知识图谱\n│   ├── 📝 逐字\u002F日志存储\n│   └── 🧩 混合架构\n├── ⚙️ 关键技术\n│   ├── 🎯 向量化（Embedding）\n│   ├── 🔎 检索策略\n│   ├── ✍️ 写入策略\n│   ├── ⏰ 唤醒\u002F遗忘策略\n│   └── 🔄 记忆压缩与抽象\n├── 🏛️ 代表性系统\n│   ├── Mem0\n│   ├── MemPalace\n│   ├── OpenClaw Memory\n│   ├── Letta (MemGPT)\n│   └── LangChain Memory\n├── 📏 评估方法\n│   ├── 基准测试（Benchmarks）\n│   └── 评估维度\n└── 🚀 未来方向\n```\n\n---\n\n## 一、📋 记忆分类\n\n### 🔄 短期记忆（Working Memory \u002F Context Window）\n\nLLM 的\"工作记忆\"，即上下文窗口内的信息。\n\n```\n短期记忆\n├── 📌 定义：当前对话上下文窗口中保持的信息，会话结束即消失\n├── 📐 容量限制：受模型上下文长度约束（8K ~ 1M+ tokens）\n├── 📝 典型实现：\n│   ├── 直接拼接对话历史\n│   ├── 滑动窗口截断旧消息\n│   ├── 摘要压缩（将旧对话压缩为摘要）\n│   └── Token 桶管理（优先保留关键信息）\n└── ⚠️ 局限：无法跨会话、无法累积学习、信息密度低\n```\n\n### 💾 长期记忆（Long-term Memory \u002F External Memory）\n\n持久化存储在外部系统中的结构化或非结构化信息，可跨会话使用。\n\n```\n长期记忆\n├── 📌 定义：持久化存储的用户偏好、经历、知识，可跨会话检索\n├── 🏗️ 存储形态：\n│   ├── 向量库（语义检索）\n│   ├── 键值存储（精确查找）\n│   ├── 知识图谱（关系推理）\n│   ├── 文件系统（日志\u002F快照）\n│   └── 混合存储（多种形态组合）\n├── 🎯 核心能力：读（检索）+ 写（记忆）+ 忘（遗忘）+ 更新\n└── 🔑 关键挑战：什么时候记？记什么？怎么记？怎么忘？\n```\n\n### 📊 短期 vs 长期记忆对比\n\n| 维度 | 短期记忆 | 长期记忆 |\n|------|---------|---------|\n| **持久性** | 会话结束即消失 | 持久化存储 |\n| **容量** | 受上下文窗口限制 | 理论上无限 |\n| **访问方式** | 直接可见 | 需要检索 |\n| **信息精度** | 逐字逐句 | 语义级别 |\n| **成本** | 占用 context tokens | 存储和检索成本 |\n| **类比** | 人的\"注意力\" | 人的\"记忆\" |\n\n---\n\n## 二、🏗️ 架构范式\n\n### 🔍 检索增强生成（RAG）\n\n```\nRAG 架构\n├── 📌 核心思想：从外部知识库检索相关片段，注入 prompt 辅助生成\n├── 📊 流程：\n│   用户查询 → Embedding → 向量检索 → 上下文拼接 → LLM 生成\n├── ✅ 优势：实现简单、效果稳定、无需训练\n├── ❌ 局限：检索质量依赖 embedding 和分块策略、缺乏推理能力\n└── 🔄 变体：\n    ├── Naive RAG（基础检索）\n    ├── Advanced RAG（查询改写、重排序、多跳检索）\n    └── Modular RAG（路由、微调、自适应检索）\n```\n\n### 📊 向量数据库（Vector DB）\n\n```\n向量数据库\n├── 📌 以高维向量表示记忆片段，通过相似度检索访问\n├── 🏗️ 主流方案：\n│   ├── 🟢 云原生：Pinecone、Weaviate、Zilliz\n│   ├── 🟡 自托管：Milvus、Qdrant、Chroma\n│   └── 🔵 轻量嵌入：sqlite-vec、FAISS（本地文件）\n├── 🔑 关键参数：维度、距离度量（余弦\u002F欧氏\u002F内积）、索引类型\n└── ⚡ 检索方式：ANN 近似最近邻（HNSW、IVF、PQ）\n```\n\n### 🕸️ 知识图谱（Knowledge Graph）\n\n```\n知识图谱记忆\n├── 📌 以实体-关系-实体的三元组结构存储记忆，支持推理\n├── 🏗️ 构建方式：\n│   ├── LLM 自动抽取（从对话中提取实体和关系）\n│   ├── 人工定义 schema\n│   └── 混合方式（schema 引导 + 自动抽取）\n├── ✅ 优势：结构清晰、支持多跳推理、关系显式化\n├── ❌ 局限：构建成本高、schema 设计困难、灵活性低\n└── 🛠️ 工具：Neo4j、LightRAG、GraphRAG、Microsoft GraphRAG\n```\n\n### 📝 逐字\u002F日志存储（Verbatim \u002F Journal Storage）\n\n```\n日志存储\n├── 📌 原样保存对话记录和事件日志，配合搜索索引访问\n├── 📊 典型实现：\n│   ├── JSONL 日志文件（每条消息一行）\n│   ├── Markdown 日记（每日笔记）\n│   └── SQLite 全文检索\n├── ✅ 优势：信息无损、实现极简、调试友好\n├── ❌ 局限：检索效率低、语义理解弱\n└── 💡 适用场景：对话回放、审计、混合架构的底层存储\n```\n\n### 🧩 混合架构（Hybrid Architecture）\n\n```\n混合记忆架构\n├── 📌 结合多种存储形态，取长补短\n├── 🏗️ 典型组合：\n│   ├── 向量库 + 知识图谱（语义检索 + 关系推理）\n│   ├── 向量库 + 关键词搜索（语义 + 精确匹配）\n│   ├── 日志存储 + 向量索引（原始数据 + 语义访问）\n│   └── 分层记忆（工作记忆 + 情景记忆 + 语义记忆）\n├── 🌟 代表：\n│   └── OpenClaw Memory（MEMORY.md 长期记忆 + 向量检索 + 日志存储）\n└── 🔑 设计原则：根据访问模式选择存储，而非一刀切\n```\n\n---\n\n## 三、⚙️ 关键技术\n\n### 🎯 向量化（Embedding）\n\n```\nEmbedding 技术\n├── 📌 将文本映射到高维向量空间，语义相近的文本距离更近\n├── 📊 主流模型：\n│   ├── OpenAI：text-embedding-3-small\u002Flarge\n│   ├── 开源：bge-m3、gte-qwen2、nomic-embed-text\n│   ├── 多模态：CLIP（图文联合嵌入）\n│   └── 领域微调：针对特定场景 fine-tuned 的嵌入模型\n├── 🔑 关键考量：维度 vs 精度 vs 成本 vs 延迟\n└── 📐 分块策略（Chunking）：\n    ├── 固定长度分块\n    ├── 语义分块（按句子\u002F段落边界）\n    └── 递归分块（分层拆分）\n```\n\n### 🔎 检索策略\n\n```\n检索策略\n├── 📊 单路检索：\n│   ├── 向量相似度检索（ANN）\n│   ├── BM25 关键词检索\n│   └── 全文检索（FTS）\n├── 🔄 多路混合检索：\n│   ├── 向量 + 关键词（Reciprocal Rank Fusion）\n│   ├── 向量 + 知识图谱\n│   └── 多查询扩展（Query Expansion）\n├── 🎯 高级检索：\n│   ├── 查询改写（Query Rewriting）\n│   ├── HyDE（假设性文档嵌入）\n│   ├── 重排序（Reranking：Cohere\u002Fbge-reranker）\n│   └── 多跳检索（Multi-hop Retrieval）\n└── 📏 过滤条件：时间范围、来源、标签、元数据\n```\n\n### ✍️ 写入策略（Memory Writing）\n\n```\n写入策略\n├── 📌 决定\"什么时候写、写什么、怎么写\"\n├── 🕐 触发时机：\n│   ├── 实时写入（每条消息后）\n│   ├── 批量写入（会话结束后摘要）\n│   ├── 定时写入（cron 周期性整理）\n│   └── 事件驱动（用户明确要求\"记住这个\"）\n├── 📝 写入内容：\n│   ├── 原文存储（逐字记录）\n│   ├── 摘要提取（LLM 压缩为要点）\n│   ├── 事实抽取（实体、偏好、决策）\n│   └── 教训记录（错误纠正、经验总结）\n└── 🔄 去重与合并：避免重复记忆、合并相似信息\n```\n\n### ⏰ 唤醒与遗忘策略\n\n```\n唤醒与遗忘\n├── ⏰ 唤醒策略（什么时候想起记忆）：\n│   ├── 语义相似度触发（用户消息匹配记忆）\n│   ├── 时间触发（定时检查、周期回顾）\n│   ├── 事件触发（特定场景\u002F关键词）\n│   └── 主动回忆（空闲时整理近期记忆）\n├── 🗑️ 遗忘策略（什么时候删除记忆）：\n│   ├── TTL 过期（时间衰减）\n│   ├── 访问频率衰减（久不访问的淡忘）\n│   ├── 冲突覆盖（新信息替代旧信息）\n│   ├── 用户主动删除\n│   └── 归档（冷热分层，不删但降优先级）\n└── 🎯 目标：像人类一样——重要的记得牢，琐碎的自然忘记\n```\n\n### 🔄 记忆压缩与抽象\n\n```\n记忆压缩\n├── 📌 将大量原始记忆压缩为精炼的知识\n├── 📊 压缩方式：\n│   ├── 对话摘要（长对话 → 几句话）\n│   ├── 事实抽取（对话 → 结构化事实）\n│   ├── 主题聚类（相似记忆合并）\n│   ├── 层级抽象（细节 → 概括 → 原则）\n│   └── 记忆蒸馏（从日志提炼到长期记忆文件）\n├── 🌟 代表模式：\n│   └── OpenClaw：每日笔记 → MEMORY.md（原始日志精选为长期记忆）\n└── ⚖️ 权衡：压缩越多越节省空间，但丢失细节越多\n```\n\n---\n\n## 四、🏛️ 代表性系统\n\n### 🏛️ 系统全景对比\n\n| 系统 | 核心特点 | 记忆类型 | 开源 |\n|------|---------|---------|------|\n| **Mem0** | 自动记忆提取、用户\u002F会话\u002FAgent 分层 | 向量 + 结构化 | ✅ |\n| **MemPalace** | 记忆宫殿隐喻、分层记忆管理 | 多层抽象 | ✅ |\n| **OpenClaw Memory** | 文件即记忆 + 向量检索 + 摘要蒸馏 | 混合 | ✅ |\n| **Letta (MemGPT)** | 虚拟上下文管理、OS 风格内存分页 | 分层 + 向量 | ✅ |\n| **LangChain Memory** | 多种记忆后端、与 LLM Chain 深度集成 | 可插拔 | ✅ |\n| **Khoj** | 个人 AI 助手、自动记忆 + 搜索 | 混合 | ✅ |\n| **Zep** | 长期对话记忆服务 | 向量 + 摘要 | ✅ |\n\n### Mem0\n\n```\nMem0\n├── 📌 面向 AI 应用的记忆层，自动从交互中提取和管理记忆\n├── 🏗️ 核心架构：\n│   ├── 记忆提取（LLM 自动识别值得记忆的信息）\n│   ├── 记忆存储（向量库 + 图数据库）\n│   ├── 记忆检索（语义搜索 + 过滤）\n│   └── 记忆更新（冲突解决、增量更新）\n├── 👤 分层管理：用户记忆、会话记忆、Agent 记忆\n├── 🔗 集成：OpenAI、LangChain、LlamaIndex 等\n└── 🌐 https:\u002F\u002Fgithub.com\u002Fmem0ai\u002Fmem0\n```\n\n### MemPalace\n\n```\nMemPalace\n├── 📌 基于记忆宫殿隐喻的分层记忆管理系统\n├── 🏗️ 核心思想：\n│   ├── 模拟人类记忆宫殿的空间组织方式\n│   ├── 记忆按主题和重要性分层放置\n│   ├── 支持记忆的联想和关联\n│   └── 记忆提取和推理能力\n├── 🎯 优势：结构化强、可解释性好\n└── 🌐 https:\u002F\u002Fgithub.com\u002FAkariAsai\u002FMemoryPalace\n```\n\n### OpenClaw Memory\n\n```\nOpenClaw Memory\n├── 📌 文件即记忆——用 Markdown 文件作为记忆载体\n├── 🏗️ 架构：\n│   ├── MEMORY.md（长期记忆，精选的重要信息）\n│   ├── memory\u002FYYYY-MM-DD.md（每日笔记，原始记录）\n│   ├── 向量检索（memory_search 语义搜索）\n│   └── 会话搜索（tdai_conversation_search）\n├── 🔄 记忆生命周期：\n│   每日笔记 → 心跳整理 → 提炼到 MEMORY.md → 归档旧文件\n├── ✅ 优势：人类可读、可编辑、透明、零供应商锁定\n├── 💡 设计哲学：像人一样管理记忆——记笔记、回顾、提炼\n└── 🌐 OpenClaw 核心，开源\n```\n\n### Letta (MemGPT)\n\n```\nLetta (原 MemGPT)\n├── 📌 受操作系统虚拟内存启发的分层记忆管理\n├── 🏗️ 核心架构：\n│   ├── 主上下文（Main Context）→ 类似 RAM\n│   ├── 回忆存储（Recall Store）→ 类似硬盘\n│   ├── 归档存储（Archival Store）→ 类似冷存储\n│   └── Agent 自主决定何时读\u002F写\u002F换页\n├── 🎯 优势：Agent 有自主记忆管理能力\n├── 💡 创新：将 OS 内存管理的思想引入 LLM 记忆\n└── 🌐 https:\u002F\u002Fgithub.com\u002Fletta-ai\u002Fletta\n```\n\n---\n\n## 五、📏 评估方法\n\n### 📊 基准测试（Benchmarks）\n\n```\n评估基准\n├── 📋 LOCOMO（Long Context Memory Benchmark）\n│   ├── 评估模型的长上下文理解和记忆能力\n│   └── 涵盖：信息检索、推理、更新\n├── 📋 MemBench\n│   ├── 专门针对 LLM 记忆系统的评测\n│   └── 关注：记忆写入、检索、更新、删除\n├── 📋 LongBench\n│   ├── 长文本理解能力基准\n│   └── 包含摘要、检索、生成等任务\n├── 📋 MUSR（Multi-Step Retrieval）\n│   ├── 多步推理检索评测\n│   └── 测试复杂查询下的记忆召回\n└── 📋 自定义评估\n    ├── 记忆命中率（Recall@K）\n    ├── 记忆准确率（Precision@K）\n    └── 记忆新鲜度（时效性指标）\n```\n\n### 📏 评估维度\n\n```\n评估维度\n├── 🎯 检索质量\n│   ├── 准确率（Precision）：返回的结果有多少是相关的\n│   ├── 召回率（Recall）：相关信息有多少被找到\n│   └── MRR \u002F nDCG：排序质量\n├── ⏱️ 延迟与吞吐\n│   ├── 检索延迟（p50\u002Fp95\u002Fp99）\n│   └── 写入吞吐（QPS）\n├── 💰 成本\n│   ├── 存储 cost（向量库、embedding API）\n│   └── 推理 cost（额外 context tokens）\n├── 🔄 一致性\n│   ├── 记忆冲突解决是否正确\n│   └── 重复记忆是否被合并\n└── 👤 用户体验\n    ├── 记忆是否\"自然\"（不过度也不遗漏）\n    └── 隐私和安全（哪些该记、哪些不该记）\n```\n\n---\n\n## 六、🚀 未来方向\n\n```\n未来方向\n├── 🧠 自主记忆管理\n│   └── Agent 自主决定记什么、忘什么、什么时候回忆\n├── 🕸️ 深度推理 + 记忆\n│   └── 结合 Chain-of-Thought、思维树等推理能力增强记忆质量\n├── 📚 从记忆中学习\n│   └── 不只是存储-检索，而是从记忆中提炼策略和知识\n├── 🔄 多 Agent 共享记忆\n│   └── Agent 团队之间的记忆共享和协作\n├── 🎭 个性化记忆\n│   └── 不同用户的记忆风格、记忆深度自适应\n├── 🔒 隐私优先记忆\n│   └── 本地优先、端侧推理、差分隐私\n├── ⏰ 时间感知记忆\n│   └── 更自然的时间衰减、事件时序建模\n├── 🌐 多模态记忆\n│   └── 图片、音频、视频的记忆存储与检索\n└── 📐 记忆标准化\n    └── 行业统一的记忆格式、接口和评估标准\n```\n\n---\n\n## 📚 延伸阅读\n\n| 资源 | 说明 |\n|------|------|\n| [Mem0 文档](https:\u002F\u002Fdocs.mem0.ai\u002F) | 开源记忆层 |\n| [Letta\u002FMemGPT 论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.08560) | 虚拟上下文管理的开创性工作 |\n| [MemPalace 论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.01767) | 分层记忆管理 |\n| [Microsoft GraphRAG](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fgraphrag) | 基于知识图谱的 RAG |\n| [LightRAG](https:\u002F\u002Fgithub.com\u002FHKUDS\u002FLightRAG) | 轻量级图增强 RAG |\n| [LangChain Memory](https:\u002F\u002Fpython.langchain.com\u002Fdocs\u002Fmodules\u002Fmemory\u002F) | LLM 记忆模块 |\n| [LOCOMO Benchmark](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.09076) | 长上下文记忆评测 |\n\n---\n\n> 📝 本文档最后更新：2026-04-26 | 作者：金豆 🐱\n","从短期记忆到长期记忆，从 RAG 到知识图谱，一图梳理 LLM 记忆系统的完整知识体系",null,"教程","教程, LLM, 记忆系统, 知识体系, 早期文章",true,"2026-04-26T00:00:00.000Z",1794201842949]