AI 智能体
概念解析——文本分块(Chunking)
文本分块(Chunking)是把长文档切成独立小段(chunk)的操作,RAG 系统里第一步也是最基础的决定。切法直接决定后面能不能搜到想要的内容。
1. Chunk 是什么
当你把一本公司手册丢给 AI,它通常不会每次读整本。系统会先把手册切成很多小块,之后只挑和问题最相关的几块交给 AI 看。这个"先切后查"的过程,第一步就是 Chunking。
Chunk 就是一个被切出来的片段——一段文字,附带着它来自哪里。搜索时不再翻整本书,而是在这些小块里找。切得好,AI 更容易拿到刚好有用的那几段。
如果切成三块(每块一个工龄档),搜"满五年"直接命中第三块,干净利落。
如果切成一大块,搜"满五年"时整段都被拉进来——回答也许对,但混进了无关信息。
2. 为什么要先切成小块
AI 一次能看的文字有上限。这个上限叫上下文窗口(context window)。窗口越大,能塞的内容越多,但窗口终归不是无限的。
文档越长,越需要先切开。有两件事推动这个决定:第一,塞太多无关内容会干扰 AI 的判断;第二,只拿相关块交给 AI,回答更容易贴着资料走,来源也更清楚。
整本塞进去的好处是省事,但一碰上长文档就容易超窗,同时会让大量无关段落冲淡注意力。切块后再找的好处是精准,但切法需要调——切坏了,关键信息可能丢在半路。
3. Chunk Size:大小的影响
chunk size 是每块大概多长。大小没有标准答案,但有一个基本权衡。
切得太小——每块包含的信息太少。搜"年假能结转到什么时候"时,答案条件("结转"、"三月底"、"自动失效")可能散在三块里,哪一块都不完整。AI 拿到一块半截信息,回答难免缺胳膊少腿。
切得太大——每块混进太多无关内容。关键词是命中了,但一块里还夹着请假流程、加班规则、福利申请。AI 拿到这么一大块,容易被无关信息带偏,回答也不再贴着问题走。
真实系统通常用 token 来量 chunk 长度,而不是字数。Token 是模型读文字时用的最小单位,一个中文词、一个英文单词、一个标点都可能被拆成若干 token。不同的分词器(tokenizer)对同一段文字算出的 token 数不一样。
4. Overlap:边界保护带
overlap 是相邻 chunk 之间重复保留的一小段文字。它在保护边界附近的意思不被切刀打断。
比如"未休完的年假可以结转到下一年三月底,超过期限自动失效"——切刀如果落在"三月底"和"超过"之间,左边那块只有前半句,右边那块只有后半句。搜"年假失效"可能只命中左边那块,而左边那块恰好没有"失效"这个关键信息。
Overlap 的做法是:让相邻块之间重叠十几个字或几十个 token。即使边界不小心切断了关键搭配,两块里至少有一块保留了完整语义。
Overlap 多少合适?通常设 chunk size 的 10%–20% 作为起步值。小文档可以更慷慨,长文档可以压缩一些。
5. Chunk 策略怎么选
没有一个固定数字适合所有资料。实际上有几种主流的分块策略,打法各不相同。
固定大小 + Overlap
最简单:选一个 chunk size 和一个 overlap 值,机械切分。实现成本最低,适合快速验证。缺点是切刀不认语义,可能把关键段落拦腰截断。
递归字符分割
按优先级用不同的分隔符切段:先按段落(\n\n)切,段落太长再按句子(\n)切,句子太长再按标点或空格切。比固定大小聪明一些,段落边界不容易被破坏。LangChain 的 RecursiveCharacterTextSplitter 就是这种思路。
语义分块
先算每一两句话的嵌入向量,然后在向量空间中找"语义断裂"的位置——当连续几个句子的主题发生明显变化时,就在那里下刀。做得好的语义切分能让每块单独拿出来都像一个完整的小主题,但计算成本高,也需要嵌入模型配合。
基于文档结构
直接利用文档已有的结构标记:Markdown 的标题层级、HTML 的 section 和 heading 标签、PDF 的段落结构、代码文件的函数定义。这种切法最贴合原始内容,但前提是文档结构完整规范。
6. 不同文档类型怎么切
资料的结构不同,切刀也该落在不同的地方。下面几种场景是实践中最常见的。
制度手册:按小节或问答条目切,保留标题。检查日期、金额、适用范围有没有被切到两块里。
合同:按条款切,条款编号和标题要跟着正文走。引用时要能回到原始条款位置,别只存一段孤零零的文字。
FAQ:一问一答通常就是一个 chunk。相似问题之间的答案不要揉到一块,保持边界清晰。
代码:按函数、类、文件结构切,再补充文件路径和依赖信息。只切函数体可能丢掉类型定义、配置和调用关系。
Markdown:按标题层级分割,每个二级标题下的内容自成一个 chunk。代码块和表格尽量不跨块。
PDF:先按页解析,再按段落聚合。PDF 提取的文字可能颠三倒四,需要额外清洗后才能切。
7. 对检索质量的影响
在 RAG 系统里,用户一提问,系统会先去找相关 chunk。这个"先找资料"的动作叫检索(retrieval)。Chunking 的质量直接决定检索的质量。
切得太小,答案条件可能散在不同块里。检索只能找到其中一块,给 AI 的信息不完整。
切得太大,每块混进太多无关内容。检索时可能因为某个关键词命中就被排到前面,但真正相关的句子只占一小半。AI 拿到这么一大块,容易被噪声带偏。
上线前可以拿四件事自查:
- 每块单独拿出来,能看懂它在讲什么
- 每块旁边记清楚:来自哪个文件、哪个小节、什么版本
- 边界附近的重要条件没有断开
- 能用真实问题跑一遍检索结果,看命中率
8. 相邻概念
Chunking 只是一个开头。块切完以后,后面的每一步都在接这一刀:
- RAG:负责把检索到的 chunk 拼回问题里,再交给 AI 回答。
- 向量数据库:负责保存 chunk 的嵌入向量和原文,用户提问时快速找回。
- 嵌入(Embedding):负责把每个 chunk 变成方便比较的向量,用来判断哪块资料更像问题。
- 召回与重排序:负责把找回来的候选 chunk 重新排序,让最能回答问题的排前面。
- 上下文窗口:决定最后能把几个 chunk 塞给 AI 看。