Qwen3.5-9B部署教程CentOS 7兼容方案glibc升级systemd服务模板1. 项目概述Qwen3.5-9B是一款拥有90亿参数的开源大语言模型具备强大的逻辑推理、代码生成和多轮对话能力。该模型支持多模态理解图文输入和长上下文处理最高128K tokens是当前开源模型中的佼佼者。核心特点支持中英文混合对话可分析上传图片内容提供丰富的生成参数调节选项通过Gradio提供直观的Web界面2. 环境准备2.1 系统要求最低配置操作系统CentOS 7.xCPU8核以上内存32GB以上GPUNVIDIA显卡显存16GB以上存储50GB可用空间2.2 依赖安装# 安装基础工具 yum install -y git wget bzip2 # 安装Miniconda wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh -b -p /opt/miniconda3 source /opt/miniconda3/bin/activate2.3 创建Conda环境conda create -n torch28 python3.10 -y conda activate torch28 pip install torch2.8.0 transformers5.0.0 gradio6.x huggingface_hub1.3.03. 项目部署3.1 项目结构/root/qwen3.5-9b/ ├── app.py # 主程序 (Gradio WebUI) ├── start.sh # 启动脚本 ├── service.log # 运行日志 └── history.json # 对话历史记录3.2 模型下载mkdir -p /root/ai-models/Qwen cd /root/ai-models/Qwen git lfs install git clone https://huggingface.co/Qwen/Qwen3.5-9B ln -s Qwen3___5-9B Qwen3.5-9B4. 服务配置4.1 Supervisor安装与配置# 安装Supervisor yum install -y supervisor systemctl enable supervisord systemctl start supervisord # 创建配置文件 cat /etc/supervisor/conf.d/qwen3.5-9b.conf EOF [program:qwen3.5-9b] command/bin/bash /root/qwen3.5-9b/start.sh directory/root/qwen3.5-9b environmentHOME/root,USERroot,LOGNAMEroot,SHELL/bin/bash,PATH/opt/miniconda3/envs/torch28/bin:/usr/bin:/bin userroot autostarttrue autorestarttrue startsecs30 startretries3 redirect_stderrtrue stdout_logfile/root/qwen3.5-9b/service.log stopasgrouptrue killasgrouptrue EOF # 重新加载配置 supervisorctl update4.2 启动脚本创建/root/qwen3.5-9b/start.sh#!/bin/bash source /opt/miniconda3/bin/activate torch28 cd /root/qwen3.5-9b python app.py赋予执行权限chmod x /root/qwen3.5-9b/start.sh5. 服务管理5.1 常用命令# 查看服务状态 supervisorctl status qwen3.5-9b # 重启服务 supervisorctl restart qwen3.5-9b # 停止服务 supervisorctl stop qwen3.5-9b # 查看实时日志 tail -f /root/qwen3.5-9b/service.log5.2 访问服务本地访问: http://localhost:7860网络访问: http://服务器IP:78606. 功能使用指南6.1 文本对话在输入框输入问题点击Send或按回车等待模型回复6.2 图片分析在右侧Upload Image上传图片在输入框描述你想问的问题如这张图片里有什么点击Send6.3 参数调节参数说明推荐值Max tokens生成文本的最大长度512-2048Temperature采样温度越高越随机0.7-1.0Top P核采样阈值越低越确定0.9Top K采样候选数越少越确定507. 常见问题排查7.1 服务启动失败检查步骤检查进程状态supervisorctl status qwen3.5-9b查看最新日志supervisorctl tail qwen3.5-9b检查conda环境conda activate torch28检查模型文件ls -lh /root/ai-models/Qwen/Qwen3.5-9B7.2 模型加载慢解决方案首次加载需要2-3分钟检查GPU状态nvidia-smi查看加载进度grep Loading weights /root/qwen3.5-9b/service.log7.3 端口冲突# 检查端口占用 ss -tlnp | grep 7860 # 查看占用进程 lsof -i :78608. 系统维护8.1 清理对话历史rm -f /root/qwen3.5-9b/history.json supervisorctl restart qwen3.5-9b8.2 日志管理# 备份日志 cp /root/qwen3.5-9b/service.log /root/qwen3.5-9b/service.log.bak # 清空日志 /root/qwen3.5-9b/service.log8.3 代码更新vim /root/qwen3.5-9b/app.py supervisorctl restart qwen3.5-9b9. 总结本教程详细介绍了在CentOS 7系统上部署Qwen3.5-9B大语言模型的完整流程包括环境准备、模型下载、服务配置和日常维护。通过Supervisor实现进程管理确保服务稳定运行。关键要点回顾使用Conda创建隔离的Python环境通过Supervisor管理服务进程提供Web界面方便交互支持多模态输入和参数调节获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。