实战案例Xinference-v1.17.1在Jupyter中实现智能问答助手附完整代码1. 环境准备与Xinference服务启动1.1 确认镜像环境在CSDN星图镜像广场中启动xinference-v1.17.1镜像后Jupyter环境已预装所有必要组件。首先验证Xinference安装状态!xinference --version预期输出xinference 1.17.11.2 启动本地推理服务Xinference服务需要后台运行使用以下命令启动!nohup xinference-local --host 127.0.0.1 --port 9997 --log-level WARNING /tmp/xinference.log 21 !sleep 5 # 等待服务初始化 !echo 服务状态$(curl -s http://127.0.0.1:9997/v1/health)关键参数说明--host 127.0.0.1限制仅本地访问--port 9997服务监听端口--log-level WARNING减少日志输出2. 模型加载与管理2.1 初始化Python客户端from xinference.client import Client client Client(http://127.0.0.1:9997) print(f服务版本{client.version})2.2 加载问答模型推荐使用qwen2-7b模型平衡性能与资源消耗model_uid client.launch_model( model_nameqwen2, model_size_in_billions7, quantizationq4_k_m # 4-bit量化 ) print(f模型UID: {model_uid})模型加载进度检查import time for i in range(30): # 最多等待30秒 try: model client.get_model(model_uid) if hasattr(model, chat): print(模型加载成功) break except: pass time.sleep(1) else: print(加载超时请检查日志)3. 智能问答系统实现3.1 基础问答功能from openai import OpenAI oai_client OpenAI( base_urlhttp://127.0.0.1:9997/v1, api_keynot-needed ) def ask_question(question, temperature0.3): response oai_client.chat.completions.create( modelmodel_uid, messages[{role: user, content: question}], temperaturetemperature ) return response.choices[0].message.content # 测试问答 print(ask_question(Python中如何快速反转列表))3.2 带历史上下文的对话class ChatAssistant: def __init__(self, system_prompt): self.messages [] if system_prompt: self.messages.append({role: system, content: system_prompt}) def chat(self, user_input): self.messages.append({role: user, content: user_input}) response oai_client.chat.completions.create( modelmodel_uid, messagesself.messages, temperature0.5 ) answer response.choices[0].message.content self.messages.append({role: assistant, content: answer}) return answer # 使用示例 assistant ChatAssistant(你是一个专业的技术问答助手) print(assistant.chat(解释一下Python的生成器)) print(assistant.chat(它与迭代器有什么区别)) # 保持上下文4. 进阶功能实现4.1 文档检索增强问答(RAG)# 加载嵌入模型 emb_uid client.launch_model(model_namebge-m3, model_typeembedding) def get_embeddings(texts): emb_client OpenAI(base_urlhttp://127.0.0.1:9997/v1, api_keynot-needed) response emb_client.embeddings.create( modelemb_uid, inputtexts, encoding_formatfloat ) return [item.embedding for item in response.data] # 示例构建简单文档库 documents [ Xinference支持多种开源大模型, BGE-M3是目前优秀的中文嵌入模型, Qwen2系列模型在多个基准测试表现优异 ] doc_embeddings get_embeddings(documents) def rag_question(question, top_k2): # 获取问题嵌入 q_embedding get_embeddings([question])[0] # 计算相似度 import numpy as np similarities [] for doc_emb in doc_embeddings: sim np.dot(q_embedding, doc_emb) / (np.linalg.norm(q_embedding) * np.linalg.norm(doc_emb)) similarities.append(sim) # 获取最相关文档 top_indices np.argsort(similarities)[-top_k:][::-1] context \n.join([documents[i] for i in top_indices]) # 组合提示词 prompt f基于以下上下文回答问题 {context} 问题{question} 答案 return ask_question(prompt) print(rag_question(Xinference支持哪些模型))4.2 函数调用实现# 定义工具函数 def search_tech_docs(query): 模拟技术文档搜索 print(f执行搜索{query}) return f关于{query}的搜索结果... # 函数调用示例 functions [{ name: search_tech_docs, description: 搜索技术文档库, parameters: { type: object, properties: { query: {type: string, description: 搜索关键词} }, required: [query] } }] response oai_client.chat.completions.create( modelmodel_uid, messages[{role: user, content: 帮我找Xinference的API文档}], functionsfunctions, function_callauto ) message response.choices[0].message if message.function_call: import json func_name message.function_call.name args json.loads(message.function_call.arguments) if func_name search_tech_docs: result search_tech_docs(args[query]) print(搜索结果:, result)5. 性能优化与实用技巧5.1 批处理问答def batch_questions(questions): 批量处理问题 responses [] for q in questions: responses.append(ask_question(q)) return responses questions [ Python中如何读取JSON文件, 解释一下装饰器的用法, Pandas如何合并两个DataFrame ] answers batch_questions(questions) for q, a in zip(questions, answers): print(fQ: {q}\nA: {a}\n)5.2 模型配置调优# 重新加载模型调整参数 client.terminate_model(model_uid) # 先停止原有模型 # 优化配置加载 model_uid client.launch_model( model_nameqwen2, model_size_in_billions7, quantizationq4_k_m, n_ctx4096, # 上下文长度 n_threads4 # CPU线程数 )5.3 常见问题排查服务连接失败!netstat -tulnp | grep 9997 # 检查端口占用 !cat /tmp/xinference.log | tail -20 # 查看日志模型加载缓慢使用更小的量化版本如q3_k_m选择更小尺寸的模型如phi-3-mini内存不足client.list_models() # 查看已加载模型 client.terminate_model(uid) # 释放不用的模型6. 总结与完整代码本文实现了基于Xinference的智能问答系统完整流程关键功能包括基础问答对话上下文保持聊天文档检索增强(RAG)函数调用能力批处理优化完整代码已整合为Jupyter notebook可直接运行# 完整示例代码 from xinference.client import Client from openai import OpenAI import numpy as np # 初始化 client Client(http://127.0.0.1:9997) model_uid client.launch_model(model_nameqwen2, model_size_in_billions7, quantizationq4_k_m) oai_client OpenAI(base_urlhttp://127.0.0.1:9997/v1, api_keynot-needed) # 问答函数 def ask_question(question, contextNone, temperature0.3): messages [{role: user, content: question}] if context: messages.insert(0, {role: system, content: context}) response oai_client.chat.completions.create( modelmodel_uid, messagesmessages, temperaturetemperature ) return response.choices[0].message.content # 使用示例 tech_answer ask_question( 如何在Xinference中加载多个模型, context你是一个AI技术专家回答要专业准确 ) print(tech_answer)获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。