[{"data":1,"prerenderedAt":15},["ShallowReactive",2],{"$f-OkqFrP4p7DaeIIVBmYTTmhGq-rR1wgt6hyzmagbdNc":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":14},31,"RAG 检索增强生成：给模型外挂资料库（三难度）","rag-three-levels","# RAG 检索增强生成：给模型外挂资料库\n\n\u003C!-- reviewed: 2026-09-22 -->\n\n> 系列教程 · 三难度：🟢 入门 → 🟡 中级 → 🔴 高级，可按需跳读。\n\n---\n\n## 🟢 入门：开卷考试\n\n想象一个学生参加考试。闭卷考试时，他只能靠考前背进脑子的内容作答——背了多少答多少，背错了也就答错了。大语言模型平时就是这样工作的：它的「知识」全部是训练时背下来的，训练截止之后世界上发生了什么，它一无所知；公司内部的资料、你个人的笔记，它更是从没见过。\n\nRAG（检索增强生成）做的事，就是允许这个学生翻书。答题前先让他去资料库里找到相关的几页，对照着写答案。这样一来，模型不用重新「背」新知识，也能回答训练之后的问题；答不出处时还能告诉你「我翻的是哪本书第几页」。\n\n一句话：RAG 不是给模型换脑子，而是给它一个随时可查的书架。\n\n---\n\n## 🟡 中级：标准流程三步\n\n一套 RAG 系统跑起来分三步：\n\n**第一步：索引（离线准备）。** 把文档切成小块（chunk，通常几百字一段，保留标题等上下文），每块用嵌入模型（embedding model）转成一个向量——一串能代表语义的数字。所有向量存进向量数据库。切块的粒度很关键：太大则一块里混了多个话题，检索不精准；太小则上下文被切碎。\n\n**第二步：检索（在线查询）。** 用户提问时，把问题也转成向量，在数据库里找与之「距离最近」（语义最相似）的 Top-K 个块。相似度通常用余弦相似度衡量。\n\n**第三步：生成。** 把检索到的块连同用户问题一起塞进 prompt，让模型基于这些资料作答，并注明出处。\n\n为什么需要 RAG，而不是微调模型？三个理由：\n\n1. **知识截止**：模型训练数据有截止日期，RAG 让它回答「昨天」发生的事，更新资料库即可，无需重训。\n2. **私有数据**：企业内部文档、个人笔记从未进过训练集，RAG 是让模型接触它们最便宜的方式。\n3. **可溯源**：生成内容可以附带引用来源，用户能核对，这在医疗、法律等场景是刚需。\n\n---\n\n## 🔴 高级：失败模式与进阶技术\n\n### 三大失败模式\n\n1. **检索错**：向量相似 ≠ 答案相关。query 与某个块语义相近但答非所问，Top-K 里根本没有正确答案——后面的生成再强也无济于事。\n2. **切块碎**：表格被从中间切断、一段论证的关键前提落在上一个块里。单个块读起来不知所云，检索到了也没法用。\n3. **噪声淹没**：Top-K 里混进大量相似但不相关的内容，正确的块被稀释，模型被带偏——资料越多不一定越好。\n\n### 进阶技术一览\n\n围绕三大失败模式，每个都有对应的进阶手段：\n- **混合检索**：BM25（关键词匹配）+ 向量检索各跑一路再融合，互补长短——专有名词、编号这类精确匹配向量往往打不过关键词。\n- **重排序（reranker）**：先用便宜的向量检索召回 Top-50，再用更重的交叉编码器精排出 Top-5，显著提升精度。\n- **查询改写**：如 HyDE——让模型先凭空生成一个「假想答案」，用它的向量去检索，往往比原始问题更贴近目标文档的语言风格。\n- **图 RAG**：把实体和关系抽成知识图谱，多跳问题（A 的上司的部门在哪）靠图遍历而非纯向量命中。\n\n### 评估要分开\n\n检索质量与生成质量必须分开评：检索侧看命中率（recall@k、MRR——正确块有没有进 Top-K）；生成侧看答案忠实度（答案是否真的基于检索内容，而非模型自己编）。两者混在一个总分里，你就永远不知道该修检索器还是该修 prompt。\n\n---\n\n## 结语：一个反直觉的提醒\n\n**瓶颈在检索端，不在生成端。** 很多人以为 RAG 的难点是让模型「会用」检索来的资料。我们的实验结论恰恰相反：模型对 prompt 里的资料是「照单全收」的——给什么就用什么，几乎不质疑。这意味着生成的上限早已被检索决定：给错了料，模型只会自信地错下去。所以修 RAG，先修检索。\n\n但「照单全收」是一枚硬币的两面。既然模型无条件信任检索内容，那么谁能往语料里塞文本，谁就能操纵模型的回答——这就是数据投毒攻击面。它和我们在实验中观察到的 fake_success（结果看似成功实则造假）是同一个母题：**下游对上游输入的无条件信任，本身就是一种失败模式。**\n\n于是整篇教程可以收成两句口诀：修 RAG，先修检索；信 RAG，先验来源。\n---\n*教程由子会话生成；博客同步由父会话负责。*\n","从开卷考试比喻到混合检索、reranker 与图 RAG——RAG 三难度讲解，结尾反直觉提醒：瓶颈在检索侧给错料而非模型不会用料，且注入内容是数据投毒面。",null,"AI教程","RAG, retrieval, embedding, hybrid-search, tutorial",true,"2026-09-09T15:20:26.000Z","2026-09-22T11:44:55.639Z",1794201866797]