AI 智能体

概念解析——RAG 检索增强生成

RAG——Retrieval-Augmented Generation,检索增强生成——是大模型落地时用得最多的技术方案。它的思路很直:模型回答问题之前,先去外部资料库里搜一遍相关内容,把搜到的内容和问题一起喂给模型,让它据此作答。不重新训练,不修改模型权重,只是给模型配了一个资料柜。


1. RAG 要解决什么问题

大语言模型有两个天生的缺陷。第一,它的知识截止在训练那一天。你问它今天的新闻,它不知道。第二,它会在不知道答案时编一个看起来合理的回答——这就是幻觉(hallucination)。两个问题同根:模型只有训练时喂给它的那点知识,超出这个范围就只能靠猜。

RAG 的思路不在模型本身动刀,而是给模型接通外部知识源。你提问之后,系统先去你的数据库、知识库、文档库里按意思搜出几段相关内容,再把这几段和问题一起塞给模型。模型照着材料回答,不用凭空想。

这就解决了好几个实际问题。企业内部的知识库随时更新,不需要等模型重新训练。最新新闻、政策法规、产品文档,只要资料库里更新了,RAG 系统就能回答。还能追溯来源——模型的回答附带了它看了哪几段资料,出了问题可以追查。

RAG 没有让模型变聪明,只是让它有了可查的资料柜。但光有这个柜子,效果就天差地别。

2. 同一个问题,差多少

看几个具体场景,就知道配不配资料柜差距有多大。

场景一,时效性问题。问"今天 1 美元换多少人民币?"没有 RAG 的模型只能答个大概"大约 7.2 元左右",还得加一句"以银行实时报价为准"。配上 RAG 的系统直接查了外汇交易中心的实时数据,回答"今天 1 美元 = 7.18 元人民币,波动区间 7.16 ~ 7.19",还标注了来源。

场景二,企业私有数据。问"我们公司 2025 Q4 的营收是多少?"没有 RAG 的模型会说"我无法访问贵公司的内部财务数据",它确实不知道。配上 RAG 系统,它去内部财报里搜到那页,回答"2025 Q4 营收 2.41 亿元,同比 +18%",还注明引用了哪份文件的第几页。

场景三,长文档定位。问"API 文档里速率限制是多少?"没有 RAG 的模型只能给通用经验"通常免费版 60 req/min"。配上 RAG 的系统从你们的文档里精确找到"免费版 30 req/min、专业版 600 req/min"。后者才是你要的答案。

总结:模型独自作答时,答不上又不想空着,就容易编一个。RAG 给了它材料,编的冲动就消失了。

3. 三步循环:Retrieve - Augment - Generate

整个 RAG 说起来只有三步。拿一个公司 HR 场景走一遍,一看就明白。

步骤一

Retrieve(检索)

用户问"刚入职的员工有多少天年假?"系统先把这个问题通过嵌入模型(embedding model)变成一串向量——一组代表语义的数字。然后去向量数据库里找跟这串数字最接近的文档片段。库里有公司 HR 手册、财务制度、新员工指引等一堆文档。系统按语义相似度排序,取最相关的前三篇,比如"HR 手册 · 假期制度"("入职满 1 年以下的员工享有 5 天带薪年假")排在第一,相似度 0.91。"财务制度 · 报销"排在最后,相似度 0.08,不取。

步骤二

Augment(增强)

"增强"这个名字听着高级,做的事很简单:把搜到的几段文档塞进发给模型的提示词里。组装后的提示词大概长这样:system(你是 HR 助手,按资料回答)+ context(搜到的三段 HR 相关内容)+ user(刚入职的员工有多少天年假?)。模型本身一点没改,只是输入变长了,多了参考资料。

步骤三

Generate(生成)

模型基于提供的资料作答。它不需要凭空想,输入里已经有具体条款了。它只需要在材料里找到答案、组织语言、加上引用。最终回答类似:"入职不满 1 年的员工享有 5 天带薪年假。首年按月折算——比如 6 月入职,当年大约可享 3 天。"每句话附带了引用来源的编号,可以追溯到 HR 手册的具体章节。


4. 四个零件:搭建 RAG 需要什么

一个 RAG 系统拆开看,就是四个部件。每个都不复杂,但每个都可能出问题。

零件一

分块(Chunking)

原始文档太长,不可能整篇塞进上下文窗口。需要先把文档切成一段一段——但怎么切是门学问。切太碎,一句话被砍两半,语义丢了;切太大,检索精度差,无关内容混进来。常见的做法是按段落或句子切,每段几百到一千字,切片之间留 10%~20% 的重叠(overlap)防止断句。表格、代码块要单独处理,不能硬切。

想细看分块怎么做,去相邻概念《文本分块(Chunking)》。

零件二

嵌入(Embedding)

每一段内容需要被转成一串数字(向量),这样系统才能算"意思相近"。这个转换工作由嵌入模型完成。嵌入的质量直接决定了检索的上限:如果你的嵌入模型不擅长中文,中文语料召回就崩。常见的嵌入模型有 OpenAI 的 text-embedding-3、Cohere Embed v4、开源的 BGE-M3、Qwen3-Embedding 等,各有所长。

想细看嵌入的原理,去相邻概念《嵌入(Embedding)》。

零件三

向量数据库(Vector Database)

存向量的地方。要把百万、千万条向量存进去,并且能在毫秒级找出跟查询向量最相似的几条。靠的是 HNSW、IVF 这类近似最近邻索引。常见的选手有 pgvector(PostgreSQL 插件,适合中小规模)、Pinecone(全托管,零运维)、Qdrant(开源里性能出色的)、Milvus(支持十亿级以上)。选哪个取决于数据规模、运维能力和预算。

想细看向量库的选型,去相邻概念《向量数据库》。

零件四

检索器(Retriever)

从向量库里取回相关文档的策略。最基本的做法是向量检索(dense retrieval),用语义相似度找。但这不是唯一的方式。关键词检索(sparse retrieval,类似 BM25)在精确匹配人名、编号、金额时反而更好。生产环境通常把两者结合成混合检索(hybrid search),各自的结果加权融合。更进一步,还可以用 reranker(重排模型)对召回的多篇候选做二次精排——先用便宜的方式粗筛 100 篇,再用更精准的 cross-encoder 挑出 top 3-5。

想细看检索策略,去相邻概念《召回与重排序》。


5. RAG vs 微调:两条路怎么选

RAG 和微调(fine-tuning)经常被放在一起比较,因为它们解决的是同一个问题:让模型更好地处理你的数据。但两条路的逻辑完全不同。

RAG 不改变模型。它给模型配了一个外挂知识库。模型本身的权重一动没动,变的是输入的内容。好处是:资料可以随时更新,不需要重新训练;每段回答都可以追溯来源;对大模型的选型没有限制,换个模型照用。缺点也明显:多了一次检索步骤,延迟增加了;检索质量不好时,模型会被带偏。

微调 改变模型本身。你用一批数据在预训练模型上继续训练,更新部分权重。好处是:模型学会了你的写作风格、术语体系、输出格式。缺点是:每次更新数据都要重新微调;模型可能过拟合到训练集上;不能追溯来源,你不知道模型引用了训练数据里的哪一条。

实际项目中两者不是非此即彼。常见的最佳实践是:RAG 管知识,微调管风格。用 RAG 提供最新、最准确的资料,用微调让模型学会你的表达方式和输出格式。两条路合起来用,效果最好。

RAG 管知识,微调管风格——两条路合起来用,才是生产级方案。

6. 不止一种 RAG:常见进阶模式

基本款 RAG 就是一条直线:问题进来,检索,作答。但在生产中有各种变体,解决基本款搞不定的场景。

变体一

查询改写(Query Rewriting)

用户经常问得很口语化,甚至省略了关键信息("那个谁的电话")。这种问题直接去检索大概率找不到。做法是:用户问题先进 LLM,让 LLM 改写成一个检索友好的版本,再拿着改写后的清晰问题去查向量库。

变体二

HyDE(假答案当钥匙)

短问题搜长文档时,问题跟文档的写法差距太大,直接检索效果不好。HyDE 的做法是:先让 LLM 根据问题编一个看起来合理的假答案,再用这个假答案去做向量检索。假答案和真文档的写法更接近,更容易命中。等检索到真文档之后,LLM 再重新作答。多了一次调用,但检索质量明显提升。

变体三

Rerank(粗排 + 精排)

只用向量检索,top-K 里可能混入不相关的内容。改进做法是:第一步用向量检索快速捞 100 篇候选(粗排),第二步用一个更精准(也更慢)的 cross-encoder 模型对这 100 篇做二次打分(精排),取前 5 篇送给 LLM。业界调研显示约 64% 的生产 RAG 系统都接了 reranker。

变体四

分步检索 / Agentic RAG

复杂问题一次检索答不上来。比如"2024 年增长最快的 SaaS 公司的 CEO 是谁?"需要先查到 2024 年增长最快的 SaaS 公司是谁,再查这家公司的 CEO 是谁——两次检索,而且第二次依赖第一次的结果。分步检索的做法是让 LLM 自己拆解问题、决定下一步查什么、查几次、什么时候汇总。这已经接近 Agent 的领域了。

想细看分步检索如何演变成 Agent 行为,去相邻概念《AI Agent》。

想细看基于知识图谱的 RAG 变体,去相邻概念《GraphRAG》。


7. RAG vs 长上下文:2026 年的争论

2026 年,大模型的上下文窗口已经扩展到百万级 token——Gemini 1.5 Pro 达到 1M,Claude 达到 200K,有些模型宣称支持 10M。有人问:窗口都这么大了,把整份资料库全塞进提示词不就行了,为什么还要 RAG?

答案在成本、延迟和效果三个维度上。把整份资料库塞进提示词,一次查询的成本可能是 RAG 的几百倍(长提示词按 token 计费),延迟从秒级变成分钟级。而且研究显示模型在长上下文中存在"lost in the middle"现象——关键信息如果被埋在中间位置,模型会漏掉。在精度上,RAG 在多事实召回上反而占优。

但长上下文也有 RAG 做不到的事:跨文档综合推理。RAG 受限于 top-K 的几段材料,如果答案散布在多篇文档中,它可能拼不全。长上下文一次把几十篇文档全读进去,做综合推理更自然。

业界目前的共识是 "RAG does the finding, long context does the reasoning"——RAG 负责从海量文档里圈出最相关的几十篇,长窗口负责把这些材料一次性读进去做综合推理。两者互补,不是替代。


8. 常见陷阱

RAG 看起来不复杂,但每个零件都有能翻车的地方。下面四个是新手最常踩的坑。

第一,切块切坏。按固定字数切片,把一句话、一张表格、一段代码生切成两半。修复方法:按段落、标题、句子结构切;切片间留 10%~20% 重叠;表格和代码块单独成块。

第二,嵌入模型用错。拿英文为主的嵌入模型跑中文语料,召回质量直接崩溃。修复方法:多语言场景用 BGE-M3、Qwen3-Embedding、Cohere Embed v4 等真正支持多语言的模型;专业领域用领域专精的嵌入模型。

第三,没接 reranker。只靠向量 top-K 就给模型,召回里混着无关文档,模型被带偏。修复方法:先召回 50-100 篇粗排,再用 cross-encoder reranker 选出 top 3-5 再给 LLM。延迟增加一点点,质量飞跃。

第四,没有评测。改了 chunk size、换了嵌入模型、加了 reranker——全凭感觉,看不出效果是变好还是变差。修复方法:搭一套小型评测集(30-50 个真实问题加黄金答案),用 Ragas、TruLens 等工具自动跑,每次改动跑一遍。


9. 相邻概念

RAG 不是孤立技术。你可以顺着这些方向继续深入:

  • 嵌入(Embedding):RAG 检索环节的基础,把文字变成向量才能按语义找资料。
  • 向量数据库:存向量、算最近邻的基础设施,RAG 系统的心脏。
  • 文本分块(Chunking):决定检索颗粒度的预处理步骤,影响 RAG 质量的上限。
  • 召回与重排序(Recall & Rerank):两阶段检索策略,从粗筛到精拣。
  • GraphRAG:基于知识图谱的 RAG 变体,适合处理实体关系密集的场景。
  • AI Agent:当 RAG 发展到分步检索、自主规划时,就进入了 Agent 的领域。
  • 幻觉(Hallucination):RAG 要解决的核心问题之一,模型在不知道答案时编造内容。
  • 微调(Fine-tuning):与 RAG 互补的技术路线,一个管知识,一个管风格。
概念解析 · 人工智能ABC