设备参数智能提取系统技术方案
1. 方案概述本方案旨在构建一套基于 .NET 8 后端框架利用 Semantic Kernel 进行 AI 编排结合 Qdrant 向量数据库与 阿里云通义千问 (Qwen) 大模型能力的设备参数自动化提取系统。方案核心在于通过“智能切片 父子索引检索”机制实现低成本、高精度的结构化数据产出。2. 系统架构组件版本/型号核心职责运行环境.NET 8提供高性能 API 服务、业务逻辑处理、并发控制。AI 编排层Semantic Kernel统一管理 Prompt 模板、调度 LLM 调用、插件化扩展、错误重试机制。大语言模型阿里云 qwen-plus负责深度理解上下文、执行复杂的逻辑推理、生成标准 JSON 数据。嵌入模型阿里云 text-embedding-v3负责将文本片段转化为 1024 维向量支持高精度中文语义检索。向量数据库Qdrant存储文档切片向量、维护父子索引关系、执行带过滤条件的混合检索。缓存中间件Redis / IMemoryCache实现文件指纹去重、父块内容缓存、提取结果缓存降低重复计算。解析引擎PdfPig Markdig将 PDF 转换为保留表格结构和标题层级的 Markdown 文本。3. 落地实施流程3.1 流程概览图阶段四LLM 推理与输出阶段三检索与上下文组装阶段二文档入库与切片阶段一环境初始化是否是否否是阿里云 DashScope 开通Qdrant 集合创建维度1024/Payload索引.NET 8 SK 连接器配置上传 PDF文件 SHA256缓存命中返回已有 DocIDPDF 转 Markdown保留表格/标题智能切片生成父子块Child:检索用 / Parent:上下文用调用 Qwen-Embedding生成 Child 向量写入 Qdrant存 Child 向量 元数据写入 Redis存 Parent 完整原文缓存 FileHash-DocID 映射发起提取请求DocID 模板结果缓存命中直接返回 JSON分析模板字段生成检索查询调用 Qwen-Embedding生成查询向量Qdrant 混合检索过滤 DocID 向量相似度 TopK提取 ParentID 列表Redis 批量召回Parent 完整原文组装精简 Context构建 PromptSystem Schema Context调用 Qwen-PlusJSON Mode 低温度JSON 校验通过自动重试机制存入业务数据库写入结果缓存返回最终 JSON3.2 详细步骤说明环境初始化模型服务准备在阿里云控制台开通 qwen-plus 和 text-embedding-v3获取 API Key。向量库初始化部署 Qdrant创建 Collection设置向量维度为 1024并为 doc_id、parent_id 建立 Payload 索引。应用配置在 .NET 8 项目中配置 Semantic Kernel指向阿里云兼容端点注册聊天与嵌入服务。文档入库指纹去重计算上传 PDF 的 SHA256若缓存中存在则直接复用跳过后续步骤。结构解析将 PDF 转为 Markdown严格保留表格结构和标题层级。父子切片子块 (Child)细粒度切片用于向量化检索。父块 (Parent)粗粒度章节用于提供完整上下文。建立 Child - Parent 的映射关系。向量化存储调用阿里云 Embedding 接口处理子块将向量与元数据存入 Qdrant。原文缓存将父块的完整 Markdown 原文存入 Redis。检索增强缓存检查检查“文档模板”的组合是否已有提取结果若有则直接返回。查询构造根据提取模板的字段名生成自然语言检索query。向量搜索调用 Embedding 接口生成 query 向量在 Qdrant 中限定当前文档 ID 进行 Top-K 相似度搜索命中子块。上下文召回根据命中的子块找到对应的 parent_id从 Redis 中批量读取父块完整原文。内容组装将多个父块内容拼接形成高信息密度的 Context。推理与交付Prompt 构建组合系统指令、目标 JSON Schema、组装后的 Context。模型推理调用 qwen-plus开启 JSON 强制模式温度设为 0.1。验证重试校验输出是否为合法 JSON若失败则自动重试。持久化将结果存入业务数据库更新结果缓存返回给用户。
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2410644.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!