本文深入探讨了在RAG系统中如何通过分块策略提升大模型的处理效率和召回率。文章详细介绍了固定大小、重叠、递归、文档特定、语义及混合等分块策略并分析了每种策略的优缺点及适用场景。通过LangChain提供的多种文档分块方法开发者可以轻松集成并优化自己的RAG应用。对于想要深入学习大模型应用的开发者来说本文是不可多得的参考资料。一、前提文档数据Documents经过解析后通过分块技术将信息内容划分为适当大小的文档片段chunks从而使 RAG 系统能够高效处理和精准检索这些片段信息。分块的本质在于依据一定逻辑或语义原则将较长文本拆解为更小的单元。分块策略有多种各有侧重选择适合特定场景的分块策略是提升 RAG 系统召回率的关键。嵌入模型Embedding Model负责将文本数据映射到高维向量空间中将输入的文档片段转换为对应的嵌入向量embedding vectors。这些向量捕捉了文本的语义信息并被存储在向量库VectorStore中以便后续检索使用。用户查询Query同样通过嵌入模型的处理生成查询嵌入向量这些向量用于在向量数据库中通过向量检索Vector Retrieval匹配最相似的文档片段。根据不同的场景需求评估并选择最优的嵌入模型以确保 RAG 的检索性能符合要求。二·、为什么说分块很重要文档通常包含丰富的上下文信息和复杂的语义结构通过将文档分块模型可以更有效地提取关键信息并减少不相关内容的干扰。分块的目标在于确保每个片段在保留核心语义的同时具备相对独立的语义完整性从而使模型在处理时不必依赖广泛的上下文信息增强检索召回的准确性。分块的重要性在于它直接影响 RAG 系统的生成质量。首先合理的分块能够确保检索到的片段与用户查询信息高度匹配避免信息冗余或丢失。其次分块有助于提升生成内容的连贯性精心设计的独立语义片段可以降低模型对上下文的依赖从而增强生成的逻辑性与一致性。最后分块策略的选择还会影响系统的响应速度与效率模型能够更快、更准确地处理和生成内容。分块策略最大的挑战在于确定分块的大小。如果片段过大可能导致向量无法精确捕捉内容的特定细节并且计算成本增加若片段过小则可能丢失上下文信息导致句子碎片化和语义不连贯。较小的块适用于需要细粒度分析的任务例如情感分析能够精确捕捉特定短语或句子的细节。更大的块则更为合适需要保留更广泛上下文的场景例如文档摘要或主题检测。因此块大小的确定必须在计算效率和上下文信息之间取得平衡。三、分块策略最佳的分块策略取决于具体的应用场景而非行业内的统一标准。根据场景中文档内容的特点和查询问题的需求选择最合适该场景的分块策略以确保 RAG 系统中大模型能够更精确地处理和检索数据。多种分块策略从本质上来看由以下三个关键组成部分构成大小每个文档块所允许的最大字符数。重叠在相邻数据块之间重叠字符的数量。拆分通过段落边界、分隔符、标记或语义边界来确定块边界的位置。上述三个组成部分共同决定了分块策略的特性及其适用场景。基于这些组成部分常见的分块策略包括固定大小分块Fixed Size Chunking、重叠分块Overlap Chunking、递归分块Recursive Chunking、文档特定分块Document Specific Chunking、语义分块Semantic Chunking、混合分块Mix Chunking。3.1、固定大小分块Fixed Size Chunking最基本的方法是将文档按固定大小进行分块通常作为分块策略的基准线使用。Chunk Size 100 字符每种颜色为一个文本块Chunk 切分可视化呈现Chunk Size 50 字符每种颜色为一个文本块Chunk 切分可视化呈现适用场景为分块策略的基准线对大型数据集进行初步分析实现简单且可预测性高分块便于管理适用于格式和大小相似的同质数据集如新闻文章或博客文章。问题不考虑内容上下文可能在句子或段落中断内容导致无意义的文本块例如上面图示中的“大模 / 型”“边际成 / 本”等词组被中断缺乏灵活性无法适应文本的自然结构。3.2、重叠分块Overlap Chunking通过滑动窗口技术切分文本块使新文本块与前一个块的内容部分重叠从而保留块边界处的重要上下文信息增强系统的语义相关性。虽然这种方法增加了存储需求和冗余信息但它有效避免了在块之间丢失关键语义或句法结构。Chunk Size 100 字符Chunk overlap 20 字符绿色适用场景需要深入理解语义并保持上下文完整性的文档如法律文档、技术手册或科研论文提升分块内容的连贯性以提高分析质量。问题计算复杂度增加处理效率降低冗余信息的存储和管理成为负担。3.3、递归分块Recursive Chunking通过预定义的文本分隔符如换行符/n/n、/n 句号、逗号、感叹号、空格等迭代地将文本分解为更小的块以实现段大小的均匀性和语义完整性。此过程中文本首先按较大的逻辑单元分割如段落 /n/n然后逐步递归到较小单元如句子 /n 和单词确保在分块大小限制内保留最强的语义片段。Chunk Size 100 字符适用场景用于需要逐层分析的文本文档或需要分解成长片段、长段落的长文档如研究报告、法律文档等。问题有可能在块边界处模糊语义容易将完整的语义单元切分开。3.4、文档特定分块Document Specific Chunking根据文档的格式如 Markdown、Latex、或编程语言如 Python 等进行定制化分割的技术。此方法依据文档的特定格式和结构规则例如 Markdown 的标题、列表项或 Python 代码中的函数和类定义等来确定分块边界。通过这种方式确保分块能够准确反映文档的格式特点优化保留这些语义完整的单元提升后续的处理和分析效果。Chunk Size 100 字符Markdown 特定分块Chunk Size 100 字符Python 特定分块适用场景可以根据特定的文档结构进行准确的语义内容切分在编程语言、Markdown、Latex 等结构文档中表现出色。问题文档特定分块的方式格式依赖性强不同格式之间的分块策略不通用并且无法处理格式不规范及混合多种格式的情况。3.5、语义分块Semantic Chunking基于文本的自然语言边界如句子、段落或主题中断进行分段的技术需要使用 NLP 技术根据语义分词分句旨在确保每个分块都包含语义连贯的信息单元。语义分块保留了较高的上下文保留并确保每个块都包含连贯的信息但需要更多的计算资源。常用的分块策略有 spaCy 和 NLTK 的 NLP 库spaCy 适用于需要高效、精准语义切分的大规模文本处理NLTK 更适合教学、研究和需要灵活自定义的语义切分任务。spaCy 语义分块适用场景确保每个文档块的信息完整且语义连贯 提高检索结果的相关性和准确性 适用于复杂文档和上下文敏感的精细化分析。问题需要额外的高计算资源特别是在处理大型或动态变化的文档数据时 处理效率降低。3.6、混合分块Mix Chunking混合分块是一种结合多种分块方法的技术通过综合利用不同分块技术的优势提高分块的精准性和效率。例如在初始阶段使用固定长度分块快速整理大量文档而在后续阶段使用语义分块进行更精细的分类和主题提取。根据实际业务场景设计多种分块策略的混合能够灵活适应各种需求提供更强大的分块方案。适用场景适用于多层次的精细化分块场景 数据集动态变化包含多种文档格式与结构 平衡处理速度与准确性的场景。问题实现复杂度高 策略调优难度高 资源消耗增加。四、分块策略实战LangChain 提供了多种文档分块方法Text Splitters帮助开发者轻松集成使用。上述分块策略在 langchain_text_splitters 库中对应的具体方法类如下除了上述方法类外LangChain 还提供了更多的 Text Splitter参考LangChain 官网。关于开发环境以及 langchain 和 langchain_community 等库的安装和配置已在RAG——从0到1快速搭建RAG应用中详细说明。下面实战的代码更新在 rag_app_lesson4.py 代码文件中。SpacyTextSplitter 和 NLTKTextSplitter 需要额外安装 Python 依赖库其中 SpacyTextSplitter 还需要按照文档的语言对应安装额外的语言模型。命令行中执行以下安装命令source rag_env/bin/activate # 激活虚拟环境 pip install spacy nltk -i https://pypi.tuna.tsinghua.edu.cn/simple python -m spacy download zh_core_web_sm # 如果需要进行中文分块安装spacy中文语言模型 python -m spacy download en_core_web_sm # 如果需要进行英文分块安装spacy英文语言模型导入 langchain.text_splitter 中各种文档分块类代码from langchain.text_splitter import ( CharacterTextSplitter, RecursiveCharacterTextSplitter, MarkdownTextSplitter, PythonCodeTextSplitter, LatexTextSplitter, SpacyTextSplitter, NLTKTextSplitter ) # 从 langchain.text_splitter 模块中导入各种文档分块类CharacterTextSplitter、RecursiveCharacterTextSplitter、MarkdownTextSplitter、PythonCodeTextSplitter、LatexTextSplitter、NLTKTextSplitter 替换原有 text_splitter 参数的赋值类即可。需要额外处理的是 SpacyTextSplitter需要参数 pipeline 指定具体的语言模型才可以运行。indexing_process 方法中切分文本块库代码# 配置SpacyTextSplitter分割文本块库 #text_splitter SpacyTextSplitter( # chunk_size512, chunk_overlap128, pipelinezh_core_web_sm) # 配置RecursiveCharacterTextSplitter分割文本块 # 可以更换为CharacterTextSplitter、MarkdownTextSplitter、PythonCodeTextSplitter、LatexTextSplitter、NLTKTextSplitter等 text_splitter RecursiveCharacterTextSplitter( chunk_size512, chunk_overlap128)其中SpacyTextSplitter 的文本分块逻辑已被注释。如果需要使用只需取消注释并将下方使用其他文本分块库的代码注释即可。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取