1. 环境准备Docker与GPU基础配置在开始部署大模型之前我们需要先搭建好基础环境。我推荐使用Docker来管理环境因为它能解决依赖冲突问题还能实现一键部署。不过要注意如果你的机器没有NVIDIA显卡后续步骤是无法进行的——大模型推理对GPU有硬性要求。我最近在4张RTX 4090的机器上实测过整套流程先分享几个关键准备步骤确保已安装最新版NVIDIA驱动建议535版本安装Docker Engine 24.0和NVIDIA Container Toolkit检查CUDA版本是否≥12.1vLLM对CUDA版本较敏感具体安装命令如下# 安装NVIDIA Container Toolkit sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker # 验证GPU是否可用 docker run --rm --gpus all nvidia/cuda:12.1.1-base-ubuntu22.04 nvidia-smi常见坑点提醒如果遇到nvidia-container-cli: initialization error报错大概率是驱动版本不匹配。我建议用ubuntu-drivers devices查看推荐驱动版本然后通过sudo apt install nvidia-driver-535安装指定版本。2. vLLM服务部署全流程2.1 容器化部署方案vLLM官方推荐使用Python 3.8-3.11的环境这里我选择3.11作为基础镜像。考虑到模型文件通常很大30B参数模型约60GB一定要做好磁盘映射docker run -dit --gpus all --ipchost --name vLLM \ -p 3001:80 \ -v /your_model_path:/models \ python:3.11进入容器后建议先换清华pip源加速安装pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pip install vllm0.7.32.2 服务启动参数详解启动服务时这几个参数直接影响性能vllm serve /models/qwq-32b --host 0.0.0.0 --port 80 \ --tensor-parallel-size 4 \ # 使用4块GPU并行 --gpu-memory-utilization 0.9 \ # GPU显存利用率 --max-num-seqs 80 \ # 最大并发请求数 --max-model-len 65536 # 最大上下文长度实测发现当gpu-memory-utilization设为0.9时RTX 4090的24GB显存会保留2.4GB作为安全缓冲。如果遇到OOM错误可以逐步下调这个值到0.8或0.7。3. 量化模型部署实战3.1 AWQ量化方案AWQActivation-aware Weight Quantization是当前最先进的4-bit量化方案。部署QwQ-32B-AWQ模型时需要特别注意vllm serve /models/QwQ-32B-AWQ \ --max-num-seqs 128 \ --max-model-len 131072实测数据对比参数原始模型AWQ量化显存占用48GB12.17GB最大并发数(128k上下文)64256生成速度(tokens/s)97.31589.73.2 GPTQ量化方案GPTQ-Int4的部署略有不同因为需要加载量化配置vllm serve /models/qwq-32b-gptq-int4 \ --quantization gptq \ --max-model-len 131072性能对比发现GPTQ在长上下文场景下更稳定。当上下文长度达到128k时AWQ会出现约5%的响应延迟波动而GPTQ能保持平稳。4. 性能调优秘籍4.1 关键参数组合优化通过上百次测试我总结出这些黄金参数组合短文本场景8k tokens--max-num-seqs 256 \ --gpu-memory-utilization 0.85长文本场景64k tokens--max-num-seqs 64 \ --gpu-memory-utilization 0.7 \ --block-size 32 # 减少内存碎片4.2 监控与诊断建议部署时同步启动监控watch -n 1 nvidia-smi几个关键指标判断GPU-Util 70% 说明计算资源充分利用Mem-Util接近设定值时考虑降低并发温度超过85℃需要检查散热5. 生产环境部署建议在实际项目中我推荐采用这些可靠性方案健康检查端点curl localhost:3001/health优雅降级策略# 当显存不足时自动切换量化模型 auto_switch_model_based_on_memory()请求限流配置--max-num-seqs 100 \ --max-prompt-length 8192对于高可用场景可以考虑在Kubernetes中部署多个vLLM实例并通过Nginx做负载均衡。我在线上环境使用这种方案实现了99.95%的SLA保障。