传统RAG仅支持文本检索面对图表、公式等非文本内容束手无策。RAG-Anything在LightRAG基础上通过多模态扩展层将文档中的文字、图片、表格、公式等所有内容统一纳入知识图谱并支持VLM增强查询和多模态查询模式极大提升了文档问答系统的实用性和准确性。该框架支持多种文档格式并提供了灵活的解析器选择和模态感知检索排序是目前解决多模态文档检索痛点的优秀方案。传统 RAG 只管文字碰到图表和公式就装死。RAG-Anything 说我全都要。/ / /问题出在哪我前段时间拿 LightRAG 做了个内部文档问答系统。效果还行纯文字的文档检索准确率挺高。但有一天产品经理扔了份 PDF 过来里面全是架构图、数据表格、还有几个 LaTeX 公式。跑了一遍。答案驴唇不对马嘴。原因不难猜——LightRAG 本质上是个文本 RAG它会把 PDF 里的文字抽出来建知识图谱但图片跳过。表格勉强能抽成文本但丢了结构。公式别想了。这种只吃文字的 RAG 在真实场景里其实挺受限的。你想一份技术文档里架构图可能比三段文字信息量还大一张数据对比表顶得上半页描述。然后我看到了 RAG-Anything。RAG-Anything 多模态 RAG 架构/ / /它在 LightRAG 上面做了什么RAG-Anything 是 HKUDS港大数据科学实验室在 LightRAG 基础上搭的多模态扩展层。核心思路一句话把文档里所有类型的内容——文字、图片、表格、公式——都塞进同一个知识图谱。听起来不复杂工程上要解决的事情不少。它的处理流水线分五个阶段我按顺序说。第一步文档解析。用 MinerU 做高保真的结构抽取把 PDF 拆成文字块、图片块、表格块、公式块。不是简单的 OCR 暴力抽文字是保留了文档的层级关系和空间位置。除了 MinerU 还支持 Docling 和 PaddleOCR 两个 parser但 MinerU 是默认的。第二步内容分类路由。每个内容块自动判断类型图片/表格/公式/纯文字然后分发到对应的处理管线。这步是并发跑的多管线同时处理。五阶段处理流水线第三步多模态分析引擎。这是核心。四个专用分析器●Visual Content Analyzer给图片生成描述、识别空间关系●Structured Data Interpreter解析表格结构、提取统计模式●Mathematical Expression Parser处理 LaTeX 公式理解数学语义●通用扩展器你可以自己写处理器来支持新的模态第四步构建多模态知识图谱。把上面分析出来的所有实体和关系不管来自文字还是图表统一灌进一个图谱。跨模态的关系映射是自动做的比如图3 展示了表2 中数据的趋势这种引用关系它能自动关联。第五步模态感知检索。检索的时候用向量图谱混合搜索排序算法会考虑内容的模态类型。/ / /实际用起来是什么样安装倒是不复杂。pip install raganything一行搞定想要全功能就pip install raganything[all]。处理 Office 文档需要装 LibreOffice这个是唯一的外部依赖。安装与使用流程查询有三种模式纯文本查询——走 LightRAG 原生的检索支持 hybrid/local/global/naive 四种模式。如果你的文档都是纯文字用这个就够了跟直接用 LightRAG 没区别。VLM 增强查询——检索到包含图片的上下文时自动调 VLM视觉语言模型来分析图片内容把图片信息也纳入回答。这个模式不需要你显式指定框架自动判断。多模态查询——你可以指定帮我分析这份文档里的表格数据或者解释这个公式它会针对性地检索和分析对应模态的内容。讲真VLM 增强查询这个设计我觉得想得比较好。用户不需要知道底层有几种模态问就完了。/ / /支持什么格式列一下文档多模态元素PDF、DOCX、PPTX、XLSX照片、图表、截图JPG/PNG/BMP/TIFF/GIF/WebP数据表格、统计摘要TXT、MarkdownLaTeX 公式支持的文档格式基本上常见的文档格式都覆盖了。PPTX 的支持我觉得挺实用的——很多公司的技术方案都在 PPT 里里面全是图和表传统 RAG 对 PPT 基本无能为力。/ / /几个技术细节Parser 选择这块值得说说。三个 parser 各有侧重●MinerUPDF 和图片最强有 OCR 和表格抽取支持 GPU 加速。默认选它。●DoclingOffice 文档更强文档结构保留得更好。●PaddleOCR纯 OCR 场景轻量适合文字为主的图片。我自己测下来的感觉不一定准如果你的文档以 PDF 为主且有大量图表MinerU 效果最好。纯 Office 文档走 Docling 可能更合适。PaddleOCR 适合图片里有文字的场景。知识图谱构建用的是 LightRAG 的底子加了多模态实体抽取和跨模态关系映射。图谱里的节点不再只是文字实体还包括图3、“表2”、公式(1)这种多模态实体。多模态知识图谱示意检索排序做了模态感知的加权。比如用户问xx 指标的趋势包含相关表格的节点权重会被提高。这个比一视同仁地只看文本相似度要靠谱。/ / // / /跟其他方案比RAG-Anything 出自 HKUDS 实验室跟 LightRAG 是同一个团队。他们还有几个相关项目●LightRAG纯文本 RAG简单快●VideoRAG超长视频 RAG●MiniRAG极简版 RAGRAG-Anything 在这个系列里定位是什么都能吃的 RAG。16.8k stars2k forksMIT 协议。相关项目生态跟 LangChain Unstructured 的组合相比RAG-Anything 的优势在于它不只是把多模态内容转成文字然后走文本 RAG而是在知识图谱层面保留了模态信息和跨模态关系。缺点也有——它强依赖 MinerU 的解析质量如果 MinerU 对某种 PDF 解析得不好后面每一步都会受影响。另外说一下官方 2025 年 10 月发了 arXiv 论文2510.123232025 年 8 月加了 VLM 增强查询模式。项目还在活跃迭代。/ / /说真的这两年看着身边一个个搞Java、C、前端、数据、架构的开始卷大模型挺唏嘘的。大家最开始都是写接口、搞Spring Boot、连数据库、配Redis稳稳当当过日子。结果GPT、DeepSeek火了之后整条线上的人都开始有点慌了大家都在想“我是不是要学大模型不然这饭碗还能保多久”我先给出最直接的答案一定要把现有的技术和大模型结合起来而不是抛弃你们现有技术掌握AI能力的Java工程师比纯Java岗要吃香的多。即使现在裁员、降薪、团队解散的比比皆是……但后续的趋势一定是AI应用落地大模型方向才是实现职业升级、提升薪资待遇的绝佳机遇这绝非空谈。数据说话2025年的最后一个月脉脉高聘发布了《2025年度人才迁徙报告》披露了2025年前10个月的招聘市场现状。AI领域的人才需求呈现出极为迫切的“井喷”态势2025年前10个月新发AI岗位量同比增长543%9月单月同比增幅超11倍。同时在薪资方面AI领域也显著领先。其中月薪排名前20的高薪岗位平均月薪均超过6万元而这些席位大部分被AI研发岗占据。与此相对应市场为AI人才支付了显著的溢价算法工程师中专攻AIGC方向的岗位平均薪资较普通算法工程师高出近18%产品经理岗位中AI方向的产品经理薪资也领先约20%。当你意识到“技术AI”是个人突围的最佳路径时整个就业市场的数据也印证了同一个事实AI大模型正成为高薪机会的最大源头。最后我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我整理出这套 AI 大模型突围资料包【允许白嫖】✅从入门到精通的全套视频教程✅AI大模型学习路线图0基础到项目实战仅需90天✅大模型书籍与技术文档PDF✅各大厂大模型面试题目详解✅640套AI大模型报告合集✅大模型入门实战训练这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】①从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图0基础到项目实战仅需90天全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤640套AI大模型报告合集⑥大模型入门实战训练获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】