记一次在双 RTX 3090 工作站上部署 vLLM 与 Qwen3.6-35B-AWQ 的实战记录1. 升级目的最近需要本地部署大模型推理服务目标是运行Qwen3.6-35B 的 INT4 量化版本AWQ 格式并使用高性能推理引擎vLLM提供服务。由于模型采用 AWQ 量化且需要较新的 CUDA 环境现有的 CUDA 11.5 和旧版驱动已经不满足要求。因此决定将 NVIDIA 驱动和 CUDA Toolkit 升级到CUDA 12.9 兼容版本并在 Docker 容器中运行 vLLM以实现环境隔离与快速部署。2. 硬件环境工作站型号自组装工作站操作系统Ubuntu 22.04 LTSGPU2 × NVIDIA RTX 3090单卡 24 GB 显存内存128 GB DDR4Docker 版本28.0.1已安装并运行着 Ollama、Xinference、Dify 等容器现有驱动NVIDIA 570.133.07仅支持到 CUDA 12.4目标驱动NVIDIA 575.64.05支持 CUDA 12.93. 升级前准备3.1 重要数据备份在执行任何系统级变更前首先备份了/home目录以及重要的 Docker 卷数据以防不测。3.2 下载新驱动与 CUDA 包NVIDIA 驱动从 NVIDIA 官方网站下载了NVIDIA-Linux-x86_64-575.64.05.run文件存放于/mnt/hdd/ai/software/。官方下载地址可以在 NVIDIA Driver Downloads 选择相应版本获得。CUDA Toolkit 12.9考虑到网络稳定性选择下载了 Runfile 格式的离线安装包cuda_12.9.1_575.57.08_linux.run同样保存在本地磁盘。可以在 CUDA Toolkit 12.9 下载页面 按需获取。3.3 模型下载Qwen3.6-35B 并非官方直接发布的模型而是社区贡献的量化版本。我选择了对 vLLM 支持最好的AWQ 格式从 Hugging Face 仓库QuantTrio/Qwen3.6-35B-A3B-AWQ下载至本地/mnt/hdd/ai/modelscope/models/QuantTrio/Qwen3.6-35B-A3B-AWQ。若从 Hugging Face 下载缓慢可以使用hf-mirror.com等镜像加速。4. 升级过程与问题解决4.1 卸载旧版驱动首先彻底清除旧版 570 驱动避免残留文件冲突。步骤包括# 切换到文本模式sudoinit3# 卸载所有 nvidia 相关包sudoapt-get--purgeremove-ynvidia-* libnvidia-*sudoaptautoremove-y# 如果原先是用 .run 文件安装的也用原文件卸载sudobash/path/to/NVIDIA-Linux-x86_64-570.133.07.run--uninstallsudoreboot重启后系统进入纯命令行模式准备安装新驱动。4.2 安装新驱动 (575)安装前确保内核头文件等依赖已就绪sudoaptupdatesudoaptupgrade-ysudoaptinstall-ybuild-essential dkms linux-headers-$(uname-r)然后进入文本模式运行安装程序sudoinit3cd/mnt/hdd/ai/software/sudochmodx NVIDIA-Linux-x86_64-575.64.05.runsudo./NVIDIA-Linux-x86_64-575.64.05.run--dkms安装过程中选择安装 32 位兼容库、自动配置 Xorg并注册 DKMS。若开启了 Secure Boot会要求设置一个临时密码用于注册 MOK 密钥重启后会进入蓝色 MokManager 界面按提示操作即可。这一步很关键否则新驱动可能无法加载。安装完成后重启。4.3 系统升级卡在 Docker 配置在执行sudo apt update sudo apt upgrade -y时进程长时间卡在正在设置 docker-ce (5:29.5.0-1~ubuntu.22.04~jammy)。原因可能是 Docker 的daemon.json配置文件存在语法错误或守护进程无法正常重启。解决方法# 强制结束卡住的 dpkg 进程sudokill-9pid# 修复未完成的配置sudodpkg--configure-a# 如果再次卡住检查并修正 /etc/docker/daemon.json可临时清空为 {}echo{}|sudotee/etc/docker/daemon.jsonsudosystemctl daemon-reloadsudosystemctl startdockersudodpkg--configure-a之后重新运行sudo apt update sudo apt upgrade -y即可顺利完成。4.4 驱动安装后nvidia-smi报错重启后运行nvidia-smi时出现NVIDIA-SMI has failed because it couldnt communicate with the NVIDIA driver.这表明驱动模块未正确加载。排查过程检查 nouveau 驱动是否禁用lsmod | grep nouveau有输出说明开源驱动仍在运行。将其彻底加入黑名单echo-eblacklist nouveau\noptions nouveau modeset0|sudotee/etc/modprobe.d/blacklist-nouveau.confsudoupdate-initramfs-usudoreboot检查 Secure Boot 状态执行mokutil --sb-state显示SecureBoot enabled。由于之前安装驱动时已注册 MOK但仍可能因签名问题被拦截。直接进入 BIOS 禁用 Secure Boot 后驱动成功加载对于物理隔离的工作站关闭 Secure Boot 是可接受的风险。或者也可以使用 DKMS 重新编译并安装模块sudodkmsinstall-mnvidia-v575.64.05sudoreboot最终nvidia-smi正确输出Driver Version: 575.64.05和CUDA Version: 12.9。4.5 安装 CUDA 12.9 Toolkit为了让宿主机拥有nvcc编译器可选实际运行 vLLM 容器并不需要我后续又安装了 CUDA Toolkit 12.9。由于已通过 Runfile 下载离线包安装方式为sudoinit3sudosystemctl stopdocker# 防止模块被占用chmodx cuda_12.9.1_575.57.08_linux.runsudosh./cuda_12.9.1_575.57.08_linux.run关键在组件选择界面中务必取消选中 “Driver” 选项因为我们已经安装了更新版本的驱动。安装完成后重启 Docker。配置环境变量echoexport PATH/usr/local/cuda-12.9/bin:$PATH~/.bashrcechoexport LD_LIBRARY_PATH/usr/local/cuda-12.9/lib64:$LD_LIBRARY_PATH~/.bashrcsource~/.bashrc nvcc--version# 验证4.6 Docker 反复重启旧容器完成 CUDA 安装并重启 Docker 后systemctl status docker长时间显示activating日志中却不断出现两个旧容器重启的循环如docker-plugin_daemon-1和另一个容器。这是因为这些容器设置了restart: always且启动失败导致 Docker 守护进程看似卡死。解决方法sudodockerstop$(sudodockerps-aq)sudodockerrm88160c2d47b1 0d4a087c4385sudodockercontainer prune-fsudosystemctl restartdockerDocker 恢复正常GPU 可用性测试通过sudodockerrun--rm--gpusall nvidia/cuda:12.9.0-base-ubuntu22.04 nvidia-smi4.7 部署 vLLM 并解决参数错误我拉取了与驱动版本匹配的镜像vllm/vllm-openai:v0.20.2-cu129并编写了docker-compose.yml。最初的版本启动时反复报错vllm: error: unrecognized arguments: ---trust-remote-code检查 YAML 文件发现command列表中--trust-remote-code那一行缺少了列表标记-导致被解析为---trust-remote-code。修正后即可正常启动。最终的docker-compose.yml如下使用位置参数避免未来--model选项弃用services:vllm:image:vllm/vllm-openai:v0.20.2-cu129container_name:vllmrestart:alwaysports:-18000:8000networks:-docker_defaultvolumes:-/mnt/hdd/ai/modelscope/models/QuantTrio/Qwen3.6-35B-A3B-AWQ:/model:ro-/usr/share/zoneinfo/Asia/Shanghai:/etc/localtime-/etc/timezone:/etc/timezoneenvironment:-TZAsia/Shanghaideploy:resources:reservations:devices:-driver:nvidiacount:allcapabilities:[gpu]command:-/model---trust-remote-code---tensor-parallel-size-2---dtype-auto---max-model-len-16384---gpu-memory-utilization-0.85---enable-prefix-caching---quantization-awq---enable-chunked-prefillnetworks:docker_default:external:true经过测试双 RTX 3090 可以稳定运行该模型max-model-len可根据实际显存余量从 8192 逐步上调至 16384 甚至更高。4.8 监控与交互为了方便监控和快速测试我又安装了vllm-playground。由于没有官方 Docker 镜像我编写了一个简单的 Dockerfile 自己构建容器FROM python:3.11-slim RUN pip install --no-cache-dir vllm-playground EXPOSE 7860 ENV VLLM_URLhttp://vllm:8000 CMD [vllm-playground, --host, 0.0.0.0, --port, 7860]并在同一个docker-compose.yml中加入服务共享docker_default网络。启动后访问http://工作站IP:7860即可直接与模型对话同时观察基础吞吐量指标。更详细的 GPU 显存、请求并发等指标则通过访问http://工作站IP:18000/metrics获取。5. 注意事项驱动版本与 CUDA 必须严格匹配NVIDIA 575 驱动最低要求 CUDA 12.9旧版驱动无法使用新 Toolkit反之亦然。Secure Boot如果开启了 Secure Boot安装第三方驱动.run 文件需要注册 MOK 密钥否则内核将拒绝加载模块。若工作站处于安全环境中可考虑直接关闭 Secure Boot 简化流程。卸载旧驱动必须彻底新旧驱动混合残留是导致nvidia-smi失败的主要元凶之一。建议使用多种方式apt、runfile 卸载、手动清理确保干净。Docker 配置检查在升级系统或驱动后务必检查 Docker 的daemon.json和 NVIDIA Container Toolkit 是否正确安装并确保容器重启策略不会造成死循环。容器化推荐实际上运行 vLLM 等应用不需要在宿主机安装 CUDA Toolkit仅需安装 NVIDIA 驱动和 NVIDIA Container Toolkit。镜像内已包含所需的 CUDA 运行时这样能最大程度避免版本冲突。本次安装 Toolkit 主要是为了本机编译调试。显存优化双 RTX 3090 虽然总显存 48 GB但在张量并行模式下每张卡都需要为模型权重和 KV Cache 留出空间。可通过--gpu-memory-utilization和--max-model-len精细调节避免 OOM。模型文件完整性确保下载的 AWQ 格式模型包含所有必要文件如config.json、tokenizer.json、.safetensors等否则 vLLM 将无法加载。整体感受就是对于个人用户ollama真的是非常友好ollama run就可以自动拉取大模型并且运行了。附vLLM 与 Qwen3.6-35B-INT4 简介vLLMvLLM 是一个高性能的大语言模型推理和服务引擎支持张量并行、连续批处理、PagedAttention 等特性能够显著提升 GPU 利用率和吞吐量。它原生支持 OpenAI 兼容 API可以无缝对接现有生态。目前 vLLM 对量化模型的支持如 AWQ、GPTQ也非常成熟。Qwen3.6-35B-A3B-AWQ这是基于通义千问 Qwen3.6 架构的35B 参数 MoE混合专家模型实际激活参数约 3B经过4-bit AWQ 量化后模型文件大小约 20 GB。得益于 MoE 设计它在保持较高推理质量的同时大幅降低了计算量和显存需求非常适合消费级显卡如 RTX 3090的本地部署。在 vLLM 中配合张量并行和量化推理可以流畅支持 16K 甚至更长的上下文。