首先打开魔搭社区，然后搜索DeepSeek-R1-Distill-Qwen-7B，进入详情页
官方推荐使用vllm来启动，但是手动搭建vllm环境容易出各种问题，我们这里直接找一个vllm的Docker镜像
一、拉取镜像
docker pull vllm/vllm-openai如果拉取不下来，则使用代理镜像
docker pull registry.dockermirror.com/vllm/vllm-openai
# 或者
docker pull dockerhub.icu/vllm/vllm-openai二、下载模型
下载模型官方提供了多种下载方式，我这里喜欢使用SDK下载或者Git下载：
1、SDK下载
创建一个download_modelscope.py文件，然后内容如下：
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-7B')执行这个文件：
python3 download_modelscope.py
默认下载到了该目录下：
:~$ ls ~/.cache/modelscope/hub/deepseek-ai/
DeepSeek-R1-Distill-Qwen-7B
2、Git下载
git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git使用Git下载的前提是安装了lfs，验证是否安装lfs
git lfs install
三、创建docker容器
docker run -it --gpus all --ipc host --name deepseek-r1-7b \
-v /home/defang/faiss/data/kmys_model/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B:/app/DeepSeek-R1-Distill-Qwen-7B \
-v /etc/localtime:/etc/localtime:ro \
-p 38805:38805 \
--entrypoint /bin/bash \
vllm/vllm-openai \
-c "CUDA_VISIBLE_DEVICES=0,1 python3 -m vllm.entrypoints.openai.api_server --model /app/DeepSeek-R1-Distill-Qwen-7B -tp 2 --host 0.0.0.0 --max-model-len 32768 --dtype half --port 38805 --gpu-memory-utilization 0.8"
1、容器配置参数
| 参数 | 说明 | 关键点 |
|---|---|---|
-it | 交互式终端模式 | 允许用户与容器交互（如查看日志或调试） |
--gpus all | 启用所有GPU | 必须安装NVIDIA Container Toolkit |
--ipc host | 共享宿主机IPC命名空间 | 提升多GPU张量并行性能（避免共享内存限制） |
--name deepseek-r1-7b | 容器命名 | 便于后续通过 docker logs 或 docker exec 操作 |
-v /home/defang/... | 挂载模型目录 | 宿主机模型路径必须存在，且需验证读写权限 |
-v /etc/localtime:ro | 同步宿主机时区 | 避免容器日志时间戳混乱 |
-p 38805:38805 | 端口映射 | 确保宿主机防火墙开放该端口 |
--entrypoint /bin/bash | 覆盖默认入口点 | 调试时常用，正式运行可移除以直接启动服务 |
vllm/vllm-openai | 镜像名称 | 需提前通过 docker pull 获取最新版本 |
2、vLLM服务参数
| 参数 | 说明 | 性能影响 | 推荐值 |
|---|---|---|---|
CUDA_VISIBLE_DEVICES=0,1 | 指定可用GPU | 必须与 -tp 参数数量匹配（此处使用2卡） | 按实际卡号设置 |
--model /app/DeepSeek... | 模型路径 | 需验证模型格式是否为vLLM支持的HuggingFace格式 | 绝对路径 |
-tp 2 | 张量并行度 | 2卡并行提升吞吐量，但会增加通信开销 | 与GPU数量一致 |
--host 0.0.0.0 | 监听地址 | 允许外部访问API服务 | 生产环境必选 |
--max-model-len 32768 | 上下文窗口 | 影响长文本处理能力（如法律合同分析） | 根据模型训练长度设置 |
--dtype half | 半精度推理 | 显存占用减少50%，速度提升20% | 需模型支持FP16 |
--gpu-memory-utilization 0.8 | 显存使用率上限 | 防止OOM错误，留出显存余量 | 0.8-0.9 |
四、请求验证
curl http://localhost:38805/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "/app/DeepSeek-R1-Distill-Qwen-7B",
"prompt": "Once upon a time",
"max_tokens": 50
}'
