RAG与GraphRAG:提升大模型准确性的关键技术,小白也能学会收藏!

news2026/3/19 18:09:23
本文介绍了RAG和GraphRAG技术旨在增强大语言模型的准确性和可靠性。RAG通过检索外部知识库来支持生成回答而GraphRAG则引入知识图谱进行深度信息挖掘。文章详细阐述了两种技术的架构、挑战和对比并结合实际案例展示了在元数据检索场景中的应用效果。此外还探讨了GraphRAG的优化方向和未来发展趋势为读者提供了从基础到进阶的全面技术解析。1. 什么是RAGRAGRetrieval-Augmented Generation检索增强生成是一种结合信息检索与文本生成的技术。核心思想在生成答案前先从大规模知识库中实时检索相关信息然后基于这些检索到的可靠证据来构建回答。这种方法有效提升了生成内容的准确性、时效性与可信度同时显著减少了大模型产生“幻觉”或错误信息的风险。RAG广泛应用于智能问答、文档摘要和知识辅助决策等场景成为增强大语言模型事实性与可靠性的关键技术。1.1 RAG架构模式1.2 RAG的挑战RAG系统没有银弹—— 不存在一种万能方案能解决RAG系统的所有问题。RAG虽通过检索外部知识提升生成可靠性但仍面临多重挑战检索的相关性与时效性难两全向量召回易遗漏关键信息复杂知识结构难适配语义理解与真实需求间存在鸿沟。优化RAG需结合场景调参、改进检索算法、增强知识过滤甚至融合大模型的推理能力而非依赖单一技术突破。1.3 怎么评价RAG系统2. 什么是GraphRAGGraphRAGGraph Retrieval-Augmented Generation是RAG的进阶架构其核心创新在于引入知识图谱Knowledge Graph来优化检索与生成过程。与传统RAG基于向量检索文档片段不同GraphRAG首先从海量数据中构建并存储一个结构化的知识图谱通过图算法如社区发现、中心性分析来深度挖掘实体间的复杂关系与全局洞察。生成答案时系统从图谱中检索相关的子图、模式或社区信息作为上下文。这种方法极大地增强了对复杂问题的推理能力、隐藏关联的发现能力以及回答的系统性特别适用于需要深度分析、趋势挖掘和跨源知识融合的战略决策场景。2.1 引入Graph之后的RAG架构模式引入Graph的增强型RAG模式分离线和在线两阶段。离线阶段原始知识库经Chunking生成文本块同时通过LLM知识抽取得到实体与关系文本块经Embedding Model生成向量存入Vector DB实体关系构建Graph索引存入Graph DB。在线阶段用户问题先经Embedding Model生成向量结合向量检索与图检索从Vector DB获取相关文本块从Graph DB获取相关实体与关系将这些信息整合成Prompt输入LLM生成答案支持诸如推荐、检索、对话这些场景。主流GraphRAG方案一般都具备以下核心特性•多索引结合图索引、向量索引、全文索引•混合检索向量检索、全文检索、标量检索•多跳推理基于图索引的知识图谱进行多步推理解决复杂问题2.2 GraphRAG vs. RAG2.3 3种Graph-based RAG对比Graph-based RAG有三类典型范式GraphRAG微软开源、LightRAG与PathRAG。它们分别从知识挖掘、轻量化、路径推理三个核心维度突破传统RAG局限。针对不同业务场景的差异化需求既可以按需选择适配的单一方案也可通过方案间的灵活组合发挥各自优势、形成协同效应以更高效地满足复杂场景下的知识检索与推理需求。它们之间的详细对比3. AI元数据检索探索之路3.1 业务背景用户在找数过程中由于需要用户具备一定程度的业务知识和技术知识经常会遇到各种数据理解和使用上的疑问需要频繁跟技术来回沟通。随着LLM的出现和RAG的兴起可以尝试利用RAG系统有效的理解和处理复杂的元数据和业务知识通过用户对话式问答的交互方式降低用户找数门槛减轻隐性的沟通负担从而进一步提升数据检索的效率。用户提问案例• XXX数据/业务字段在哪个表能找的到怎么取在哪获取• XXX业务数据在哪个表的哪个字段• XXX表里有XXX业务数据的字段吗是哪个• XXX的数据口径是什么有没有说明• XXX的业务含义是什么意思• …3.2 关键挑战3.3 方案1.0 —— Naive RAG•方案1.0 效果• 整体效果未达预期目标• 回答准确率仅55%召回率/TopK命中率只有60%左右•问题归因❌知识库“营养不良”仅包含库表schemacomment缺乏业务背景、字段口径、数据血缘等关键信息❌检索能力“单一薄弱”仅依赖向量检索面对同义词、多实体关联、表间关系等复杂问题时召回率拉胯❌边界感“完全缺失”无法识别超出知识库范围的问题易输出误导性内容1) 索引流程知识库导入流程如下2) 检索流程知识库检索生成流程如下3) 分块Chunking方式•方式一不采用单个表作为一整个chunk这种方式很好的保存了表的完整信息但是会存在以下两个问题会导致在进行相似度匹配时将用户问题中的关键字和整个表进行匹配这样可能存在匹配度很高但实际不是用户要查找的表的情况如下所示。而整表文档作为上下文给到LLMtoken长度很容易超限。•方式二采用单字段切割能避免上述整表切割带来的两个问题但同时要考虑chunk过多可能影响查询性能如下所示格式在可按照单行/多行进行切割因此选择第二种切割方式更适合库表检索场景。demo效果展示1. 用户问题xxx字段在哪个表里能找到2. 向量数据库检索结果{tableName: table1, column: xxx, type: string, comment: xxx};{tableName: table1, column: xxx, type: bigint, comment: xxx};{tableName: table2, column: xxx, type: bigint, comment: xxx};{tableName: table2, column: xxx, type: bigint, comment: xxx};{tableName: table3, column: xxx, type: bigint, comment: xxx};{tableName: table2, column: xxx, type: bigint, comment: xxx};{tableName: table2, column: xxx, type: bigint, comment: xxx};{tableName: table3, column: xxx, type: bigint, comment: xxx};{tableName: table2, column: xxx, type: bigint, comment: xxx};{tableName: table2, column: xxx, type: bigint, comment: xxx};3. LLM生成答案xxx字段在table1这个表中可以找到4) 方案1.0的Badcase分析下面是针对方案1.0的Badcase详细分析核心问题主要集中在三个层面首先是知识召回环节存在不足导致相关信息未能有效触达到LLM上下文其次是知识库本身的质量有待提升内容准确性和覆盖度存在局限最后是边界问题对需求范围的界定不够清晰易引发处理偏差。其中知识召回问题的影响最为突出其次是知识库质量问题边界问题的影响相对较小。具体Badcase示例语义不匹配Q1: 哪张表能取到司机运送实际车型啊标准答案: 司机宽表xxx字段该字段含义是【物理车型】AI答案回答完全不相关的表和字段 Q2: 大佬们想问下哪里可以取到运脉上的司机卸货位置啊标准答案xxx表的xxx和xxx字段可以取到司机开始卸货的经度和开始卸货的纬度AI答案不会回答“司机开始卸货的经度和开始卸货的纬度”相关字段原因分析• 同义词匹配问题【实际车型】无法和【物理车型】匹配向量无法有效召回• 业务口径匹配问题【司机卸货位置】无法和【司机开始卸货的经度和开始卸货的纬度】匹配向量无法有效召回多问题/多实体/关系召回率低Q1: 请问下这4个时间节点分别对应订单宽表哪个字段呀司机到达发货地、司机完成装货、司机到达收货地、司机完成卸货标准答案xxx表有相关字段AI答案只会回答其中1个或2个字段Q2哪张表有存司机ID对应的手机号呢标准答案你可以在table1、table2表中找到司机ID对应的手机号其中xxx字段代表手机号。AI答案可能会回答不知道原因分析• 多实体召回问题• 向量召回无法精确召回所有实体• 无法回答实体之间关联问题无关信息干扰回答不正确无关信息会干扰向量召回精确度。Q1想问下如果用户没有完单但下单时候选择了专票这种怎么取呢我在你说的这个表没找到这类未完单但下单时收了专票服务费的订单标准答案xxx业务table1、xxx业务table2、字段colomn1AI答案会回答用户问题中后半句相关的内容缺乏相关知识胡乱回答Q1你好请问现在有实时订单表可以使用么标准答案看看这个表xxx AI答案回答不相关的表-- 注这个例子中实时订单表缺少comment和业务描述不存在相关表胡乱回答Q1需要xxx业务线的已取消订单司机实际行驶距离。我看有些报表有个xxx不知道哪个可用标准答案没有现成的表需要加工才能取到AI答案回答完全不相关的表和字段3.4 方案2.0 —— GraphRAG元数据天然就具有知识图谱的表达方式和存储结构方案2.0采用了Graph-based RAG的技术思路。经过深入研究和对比分析LightRAG从复杂度、灵活性、可嵌入性等方面考虑比较适合我们的场景1知识库知识库拟采用渐进式扩展的建设策略从核心数据域如订单域开始验证效果逐步扩展到全库范围。2图存储设计GraphRAG知识图谱按三类实体设计1. 表/字段以表为核心节点关联字段及跨表血缘关系实体含类型、描述等属性2. 业务术语/缩写词独立存储术语实体3. 同义词层通过边连接同义术语。整体通过节点属性和关系边构建结构化知识网络支撑复杂关联检索。3向量存储设计4索引流程知识库索引流程为多源知识库的索引构建方案从Table集合开始、元数据管理平台获取表/字段详情、数据血缘等信息经格式转换生成表/字段实体关系同时通过手工梳理LLM抽取数仓文档、领域知识等生成术语、问答等实体关系。两类实体关系合并后存入Graph Storage并将实体关系与文档块关联存入Vector Storage。由于每个实体都有唯一的名称可以作为实体ID这样就可以以实体ID作为主键来实现知识索引库的增量更新。实体权重计算口径•表分数 manual_boost_1 * ( w1 × score_downstream w2 × score_popularity w3 × score_star )•字段分数 manual_boost_2 × (w4 × base_score w5 × table_factor)•术语词汇分数 1各权重因子定义及计算公式如下5检索流程用户Query经LLM提取高级和低级关键词低级关键词结合同义词库扩展后通过混合检索向量检索BM25检索重排得TopK实体再关联知识图谱获取相关关系形成Local Query Context高级词经Embedding向量检索得TopK关系关联图谱获相关实体形成Global Query Context。两类上下文合并后输入LLM生成答案。3.5 效果问答质量有实质突破整体准确率从56%提升至78%其中知识召回率91%、TopK命中率90%、MRR 0.73业务场景提效明显AI检索较传统关键词检索的渗透率已到达30%左右直接为数仓答疑环节节省20%以上时间成本有效地减少了重复沟通与信息检索耗时。4.后续工作当前GraphRAG的实践已取得预期效果但仍存在持续探索与优化的空间。接下来我们将从以下几个方向推进以进一步提升系统的准确率与用户体验检索能力升级更强的混合检索更准的结果排序•引入混合检索机制将全文检索、标量检索与现有的向量检索结合构建互补的检索体系更好地覆盖专业术语、缩写以及长尾查询。•优化Rerank持续优化实体权重模型并引入更多业务相关指标例如表重要性、字段使用频次持续完善知识库打造更丰富的元数据生态•增强领域术语体系使用AI自动发掘业务术语、同义词和数据口径建设领域词典解决“叫法不同但意义相同”的检索障碍。•智能元数据增强探索语义扩展将简短的字段名扩展为具有业务语义的自然语言描述从而提升向量表示效果。向Agentic迈进探索Agentic RAG•具备规划能力使用Agent的规划能力取代现在的固定工作流模式优化检索效率和精准度•实现多跳推理让系统能够自动把复杂问题拆分成多个子问题通过多轮“检索—验证”循环构建完整的推理链路。•增强交互能力让系统具备“主动提问”的能力在用户提问模糊或信息不足时主动澄清从而提升最终回答的可靠性。结语从RAG到GraphRAG的探索最大的体会是元数据检索本质上是如何组织好现有的元数据。表、字段与业务术语之间的关联只靠语义相似度很难稳定命中把元数据建成图谱用实体和关系一起召回才能提升系统的召回率和准确率。在元数据场景里RAG瓶颈往往不在大模型而在检索和知识组织。后续我们还会在混合检索、Rerank和知识库上继续优化同时探索应用Agentic RAG的可能性。从RAG到GraphRAG既是架构升级也是我们一直在回答的问题怎么把企业里的数据知识真正用起来。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2427192.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…

网络编程(Modbus进阶)

思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周,有很多同学在写期末Java web作业时,运行tomcat出现乱码问题,经过多次解决与研究,我做了如下整理: 原因: IDEA本身编码与tomcat的编码与Windows编码不同导致,Windows 系统控制台…

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 C版本&#xff1a; class Solution { public:int maxDifference(string s) {int a[26]…

【大模型RAG】拍照搜题技术架构速览:三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…

观成科技:隐蔽隧道工具Ligolo-ng加密流量分析

1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具&#xff0c;该工具基于TUN接口实现其功能&#xff0c;利用反向TCP/TLS连接建立一条隐蔽的通信信道&#xff0c;支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式&#xff0c;适应复杂网…

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…