Qwen3.5-9B企业知识库构建PDF/Markdown文档注入语义检索集成教程1. 项目概述Qwen3.5-9B是一款拥有90亿参数的开源大语言模型具备强大的逻辑推理、代码生成和多轮对话能力。其多模态变体Qwen3.5-9B-VL支持图文输入并拥有长达128K tokens的上下文处理能力非常适合构建企业级知识库系统。1.1 核心优势长文本处理128K tokens上下文窗口可处理大型文档多模态理解支持PDF/Markdown文档解析和图片内容理解语义检索内置向量数据库支持实现精准内容检索企业级部署支持高并发访问和稳定运行2. 环境准备2.1 基础环境配置# 创建conda环境 conda create -n qwen3.5 python3.10 conda activate qwen3.5 # 安装基础依赖 pip install torch2.8.0 transformers5.0.0 gradio6.02.2 项目结构/root/qwen3.5-9b/ ├── app.py # 主程序 ├── start.sh # 启动脚本 ├── docs/ # 文档存储目录 │ ├── pdf/ # PDF文档 │ └── markdown/ # Markdown文档 ├── vector_db/ # 向量数据库 └── service.log # 运行日志3. 文档注入实现3.1 PDF文档处理from PyPDF2 import PdfReader from langchain.text_splitter import RecursiveCharacterTextSplitter def process_pdf(file_path): # 读取PDF内容 reader PdfReader(file_path) text for page in reader.pages: text page.extract_text() # 文本分块 text_splitter RecursiveCharacterTextSplitter( chunk_size1000, chunk_overlap200 ) chunks text_splitter.split_text(text) return chunks3.2 Markdown文档处理import markdown from bs4 import BeautifulSoup def process_markdown(file_path): with open(file_path, r) as f: md_text f.read() # 转换为HTML再提取纯文本 html markdown.markdown(md_text) soup BeautifulSoup(html, html.parser) text soup.get_text() # 文本分块 text_splitter RecursiveCharacterTextSplitter( chunk_size1000, chunk_overlap200 ) chunks text_splitter.split_text(text) return chunks4. 语义检索集成4.1 向量数据库配置from langchain.vectorstores import FAISS from langchain.embeddings import HuggingFaceEmbeddings # 初始化嵌入模型 embedding_model HuggingFaceEmbeddings( model_namesentence-transformers/all-mpnet-base-v2 ) # 创建向量数据库 def create_vector_db(text_chunks): vector_db FAISS.from_texts( textstext_chunks, embeddingembedding_model ) vector_db.save_local(vector_db/faiss_index) return vector_db4.2 检索增强生成(RAG)实现from langchain.chains import RetrievalQA from langchain.llms import HuggingFacePipeline def setup_rag_chain(): # 加载向量数据库 vector_db FAISS.load_local( vector_db/faiss_index, embedding_model ) # 初始化Qwen3.5-9B模型 llm HuggingFacePipeline.from_model_id( model_idQwen/Qwen3.5-9B, tasktext-generation, devicecuda:0 ) # 创建检索链 qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, retrievervector_db.as_retriever() ) return qa_chain5. 系统集成与部署5.1 Gradio界面开发import gradio as gr from document_processor import process_pdf, process_markdown from rag_system import setup_rag_chain qa_chain setup_rag_chain() def query_system(question): result qa_chain({query: question}) return result[result] def upload_document(file): if file.name.endswith(.pdf): chunks process_pdf(file.name) elif file.name.endswith(.md): chunks process_markdown(file.name) else: return 不支持的文件格式 create_vector_db(chunks) return 文档已成功注入知识库 with gr.Blocks() as demo: gr.Markdown(# Qwen3.5-9B企业知识库系统) with gr.Tab(文档上传): file_input gr.File(label上传文档) upload_btn gr.Button(上传) upload_output gr.Textbox(label上传状态) with gr.Tab(知识查询): question_input gr.Textbox(label输入问题) ask_btn gr.Button(提问) answer_output gr.Textbox(label回答) upload_btn.click(upload_document, inputsfile_input, outputsupload_output) ask_btn.click(query_system, inputsquestion_input, outputsanswer_output) demo.launch(server_port7860)5.2 Supervisor配置[program:qwen3.5-9b] command/bin/bash /root/qwen3.5-9b/start.sh directory/root/qwen3.5-9b environmentHOME/root,USERroot,LOGNAMEroot,SHELL/bin/bash,PATH/opt/miniconda3/envs/qwen3.5/bin:/usr/bin:/bin userroot autostarttrue autorestarttrue startsecs30 startretries3 redirect_stderrtrue stdout_logfile/root/qwen3.5-9b/service.log stopasgrouptrue killasgrouptrue6. 系统使用指南6.1 文档注入流程访问Web界面(http://localhost:7860)切换到文档上传标签页上传PDF或Markdown格式文档等待系统处理完成提示6.2 知识查询方法切换到知识查询标签页输入您的问题(如产品A的技术规格是什么?)点击提问按钮获取回答系统会基于已注入文档给出准确回答6.3 高级检索技巧精确检索使用双引号限定关键词(年度报告2025)排除检索使用减号排除不相关内容(产品A -测试版)组合检索使用AND/OR组合多个条件(产品A AND 规格)7. 性能优化建议7.1 硬件配置建议组件推荐配置说明GPUNVIDIA A100 40GB处理大型模型CPU16核以上文档预处理内存64GB以上支持多文档处理存储1TB SSD存储文档和向量数据库7.2 参数调优指南# 检索参数优化 retriever vector_db.as_retriever( search_typemmr, # 最大边际相关性搜索 search_kwargs{k: 5} # 返回前5个最相关文档块 ) # 生成参数优化 llm HuggingFacePipeline.from_model_id( model_idQwen/Qwen3.5-9B, tasktext-generation, devicecuda:0, model_kwargs{ temperature: 0.7, max_length: 2048, top_p: 0.9 } )8. 总结本教程详细介绍了如何使用Qwen3.5-9B构建企业知识库系统实现了PDF/Markdown文档的自动化注入和语义检索功能。系统具备以下特点多格式支持处理PDF和Markdown企业文档智能检索基于语义的精准内容查找知识整合将分散文档转化为结构化知识易用界面通过Web界面简化操作流程通过本系统企业可以快速构建自己的智能知识库提升信息检索效率降低员工培训成本。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。