1. 为什么选择 Docker 部署 Ollama在开始之前我们先聊聊为什么要把 Ollama 装进 Docker。我刚开始接触大语言模型时最头疼的就是环境配置问题。不同模型需要不同版本的依赖库系统里各种 Python 环境经常打架。直到用了 Docker这些问题才真正解决。Docker 就像给你的应用准备了一个随身行李箱。想象你要去旅行与其每到一个酒店都重新买洗漱用品不如把所有必需品装进行李箱带着走。Ollama 在 Docker 里运行就是这个道理 - 所有依赖项都打包好了换个机器也能一键运行完全不用担心环境冲突。实测下来Docker 部署还有几个实在的好处隔离性模型运行不会干扰主机环境便携性开发机训练好的模型可以直接搬到生产环境资源控制能限制 CPU/内存用量避免模型吃光系统资源版本管理可以保存不同版本的镜像随时回滚2. 环境准备Docker 安装与配置2.1 安装 Docker 引擎先确认你的系统是否已经安装了 Docker。打开终端输入docker --version如果看到版本号比如Docker version 24.0.7说明已经安装。如果没有按下面步骤操作Ubuntu/Debian 系统# 卸载旧版本 sudo apt-get remove docker docker-engine docker.io containerd runc # 安装依赖 sudo apt-get update sudo apt-get install ca-certificates curl gnupg # 添加官方GPG密钥 sudo install -m 0755 -d /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg sudo chmod ar /etc/apt/keyrings/docker.gpg # 设置仓库 echo \ deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release echo $VERSION_CODENAME) stable | \ sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 安装Docker sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-pluginCentOS/RHEL 系统sudo yum install -y yum-utils sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin sudo systemctl start docker安装完成后建议把当前用户加入 docker 组避免每次都要 sudosudo usermod -aG docker $USER newgrp docker # 立即生效2.2 配置 Docker 镜像加速国内拉取镜像可能会很慢建议配置镜像加速器。创建或修改/etc/docker/daemon.json{ registry-mirrors: [ https://registry.cn-hangzhou.aliyuncs.com, https://docker.mirrors.ustc.edu.cn ] }然后重启服务sudo systemctl daemon-reload sudo systemctl restart docker3. 获取 Ollama 镜像3.1 官方镜像拉取Ollama 官方提供了现成的 Docker 镜像直接拉取即可docker pull ollama/ollama这个命令会从 Docker Hub 下载最新版本的镜像。我实测下载速度大约 2MB/s完整镜像大小约 1.2GB。如果下载速度不理想可以尝试以下方法更换 Docker 镜像源见 2.2 节使用离线下载方式见 3.2 节3.2 离线镜像方案对于网络环境受限的情况可以使用离线镜像包。这里提供一个实测可用的方案下载离线镜像包约 3GB导入本地 Dockerdocker load ollama-offline.tar导入后可以用以下命令查看docker images | grep ollama应该能看到类似输出ollama/ollama latest 1a2b3c4d5e6f 2 weeks ago 1.21GB4. 运行 Ollama 容器4.1 基础运行命令启动容器的标准命令如下docker run -d \ --name ollama \ -p 11434:11434 \ -v ollama_data:/root/.ollama \ --restart always \ ollama/ollama参数解释-d后台运行--name指定容器名称-p端口映射主机端口:容器端口-v数据卷挂载持久化模型数据--restart自动重启策略4.2 GPU 加速配置如果你有 NVIDIA 显卡可以启用 GPU 加速先安装 NVIDIA Container Toolkitdistribution$(. /etc/os-release;echo $ID$VERSION_ID) \ curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo apt-key add - \ curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker运行容器时添加 GPU 参数docker run -d \ --name ollama \ --gpus all \ -p 11434:11434 \ -v ollama_data:/root/.ollama \ --restart always \ ollama/ollama可以用以下命令检查 GPU 是否生效docker exec ollama nvidia-smi5. 模型管理与使用5.1 拉取模型进入容器操作docker exec -it ollama bash在容器内拉取模型以 llama3 为例ollama pull llama3这个命令会下载约 4GB 的模型文件。下载进度可以在终端看到速度取决于你的网络。5.2 运行模型拉取完成后直接运行ollama run llama3你会进入交互模式可以直接输入问题与模型对话。试试输入 用简单的话解释 Docker 是什么模型会返回类似这样的回答Docker 就像是一个标准化的集装箱系统但装的是软件而不是货物。它把应用程序和它需要的所有东西代码、运行环境、工具等打包在一起这样就能在任何支持Docker的电脑上运行不会因为环境不同而出问题。5.3 模型管理常用命令查看已安装模型ollama list删除模型ollama rm 模型名创建自定义模型ollama create 模型名 -f Modelfile6. API 调用实战6.1 基础 API 调用Ollama 提供了 RESTful API可以通过 HTTP 访问。最基本的生成接口curl http://localhost:11434/api/generate -d { model: llama3, prompt: 为什么天空是蓝色的, stream: false }参数说明model使用的模型名称prompt输入的提示词stream是否流式输出6.2 高级 API 使用对话模式curl http://localhost:11434/api/chat -d { model: llama3, messages: [ {role: user, content: 你好}, {role: assistant, content: 你好有什么我可以帮助你的吗}, {role: user, content: 请用简单的语言解释AI是什么} ] }嵌入向量生成curl http://localhost:11434/api/embeddings -d { model: llama3, prompt: 机器学习的基本概念 }6.3 Python 客户端示例安装官方 Python 客户端pip install ollama示例代码import ollama response ollama.generate( modelllama3, prompt用三句话解释神经网络, streamFalse ) print(response[response])流式输出示例stream ollama.generate( modelllama3, prompt写一篇关于Docker的短文, streamTrue ) for chunk in stream: print(chunk[response], end, flushTrue)7. 常见问题排查7.1 端口冲突问题如果 11434 端口被占用可以修改映射端口docker run -d -p 11435:11434 --name ollama ollama/ollama然后 API 地址改为http://localhost:114357.2 模型下载失败如果模型下载中途失败可以尝试清理缓存docker exec ollama rm -rf /root/.ollama/models重新拉取ollama pull 模型名7.3 内存不足问题大模型需要足够内存如果遇到崩溃检查可用内存free -h运行容器时限制内存docker run -d --memory16g --name ollama ollama/ollama8. 生产环境建议8.1 安全配置修改默认端口设置 API 密钥验证启用 HTTPS配置防火墙规则8.2 性能优化使用 SSD 存储为数据卷挂载单独的高性能磁盘调整 Docker 的 CPU 和内存限制定期清理无用镜像和容器8.3 监控与日志查看容器日志docker logs -f ollama资源监控docker stats ollama设置日志轮转docker run -d \ --log-driver json-file \ --log-opt max-size10m \ --log-opt max-file3 \ --name ollama \ ollama/ollama