这篇文章写给想在自己服务器部署本地大模型助手但又怕部署太复杂踩坑的开发者。我踩了各种坑整理出这套 step by step 教程新手也能跟着一步步跑通。痛点场景用云服务商的大模型 API 有两个绕不开的问题太贵了调用量上去之后每个月 API 账单吓死人随便折腾一下就是几百上千隐私问题敏感数据不敢传给第三方 API公司内部资料更不敢往外发能不能把大模型直接跑在自己服务器上数据存在自己这儿隐私安全想怎么折腾就怎么折腾不用怕账单爆炸。我折腾了几天终于把 OpenClaw 完整部署到了自己的服务器上这篇把完整过程和踩过的坑都记下来你跟着做就能成。适用场景有一台自己的 Linux 服务器推荐 8 卡或者 2 卡单卡 16GB 显存也能跑 7B 模型想拥有完全属于自己的本地 AI 助手数据隐私敏感不想把内容传给第三方 API喜欢折腾想自己掌控整套 AI 工具链环境准备首先确认你的服务器满足最低要求配置项最低要求推荐配置系统Ubuntu 20.04 / 22.04Ubuntu 22.04Python 版本Python 3.9Python 3.10显存16GB跑 7B 量化模型24GB硬盘50GB 空闲空间100GBCUDA11.812.1第一步安装基础依赖先更新系统安装需要的基础包更新系统sudo apt update sudo apt upgrade -y安装基础依赖sudo apt install -y git curl wget build-essential \libssl-dev zlib1g-dev libbz2-dev \libreadline-dev libsqlite3-dev llvm \libncurses5-dev libncursesw5-dev xz-utils tk-dev \libffi-dev liblzma-dev python3-openssl第二步克隆项目代码克隆 OpenClaw 官方仓库git clone https://github.com/openclaw/openclaw.gitcd openclaw查看分支切换到最新稳定版git branch -agit checkout main第三步配置 Python 虚拟环境我推荐用 pyenv 管理 Python 版本避免系统版本冲突安装 pyenv如果你还没装curl https://pyenv.run | bash添加到环境变量根据你的 shell 选一个echo export PYENV_ROOT$HOME/.pyenv ~/.bashrcecho command -v pyenv /dev/null || export PATH$PYENV_ROOT/bin:$PATH ~/.bashrcecho eval $(pyenv init -) ~/.bashrc重新加载环境变量source ~/.bashrc安装 Python 3.10pyenv install 3.10.14pyenv local 3.10.14创建虚拟环境python -m venv venvsource venv/bin/activate第四步安装 Python 依赖升级 pippip install --upgrade pip setuptools wheel安装项目依赖pip install -r requirements.txt避坑指南这里是我实际踩过的几个坑一定要注意坑 1CUDA 版本不匹配导致 PyTorch 用不了 GPU问题现象安装完 PyTorch 之后运行 python -c import torch; print(torch.cuda.is_available()) 输出 False原因你的系统 CUDA 版本和 PyTorch 编译的 CUDA 版本不匹配解决方法重新安装对应你 CUDA 版本的 PyTorch先查看你的 CUDA 版本nvcc --version去 https://pytorch.org/ 获取对应你系统的安装命令比如 CUDA 12.1 用这个pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121验证python -c import torch; print(CUDA available:, torch.cuda.is_available())print(GPU count:, torch.cuda.device_count())应该输出CUDA available: TrueGPU count: 你显卡的数量坑 2Node.js 版本太低前端构建失败问题现象构建前端的时候报错一堆语法错误不识别原因Ubuntu 源里的 Node.js 版本太老通常是 12.x 或者 14.xOpenClaw 前端需要 Node 18解决方法用 nvm 安装新版 Node.js安装 nvmcurl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.3/install.sh | bashsource ~/.bashrc安装 Node 18nvm install 18nvm use 18验证版本node -v应该输出 v18.x.x 以上坑 3依赖安装慢或者超时问题现象pip install 卡着不动经常超时失败解决方法换国内镜像源新建 pip 配置文件mkdir -p ~/.pipcat ~/.pip/pip.conf EOF[global]index-url https://pypi.tuna.tsinghua.edu.cn/simpletrusted-host pypi.tuna.tsinghua.edu.cnEOF然后重新安装就快很多了。坑 4端口被占用启动失败问题现象启动的时候报 Address already in use解决方法找到占用端口的进程杀掉或者改配置文件换个端口查找占用 8000 端口的进程lsof -i :8000杀掉进程kill -9 PID配置模型OpenClaw 支持多种大模型后端我这里以 Llama 3 7B 为例用量化版本 16GB 显存就能跑。1. 下载模型推荐用 Hugging Face 下载或者用模型镜像站更快安装 huggingface-clipip install huggingface_hub登录如果你有 HF 账号huggingface-cli login下载量化好的 Llama 3 7B这里用的是 4-bit 量化版本大约 4GB 大小huggingface-cli download bartowski/Llama-3-7B-Instruct-GGUF Llama-3-7B-Instruct.Q4_K_M.gguf --local-dir models2. 修改配置文件OpenClaw 用 config.yaml 配置复制一份模板开始修改cp config.example.yaml config.yamlvi config.yaml主要修改这几个地方model:模型类型llama-cpp 适合单 CPU/GPU 运行backend: llama-cpp你刚才下载的模型文件路径model_path: ./models/Llama-3-7B-Instruct.Q4_K_M.gguf上下文窗口大小根据你的显存调整n_ctx: 4096线程数根据你的 CPU 核心数调整n_threads: 8GPU 层数全给 GPU 加速就好n_gpu_layers: 35配置说明n_gpu_layers: 7B 模型总共 33 层左右设 35 就是全部放 GPU速度最快n_ctx: 越大能处理越长的上下文也越吃显存4096 足够日常用了如果你的显存不够可以降到 2048启动运行配置完就可以启动了激活虚拟环境如果你还没激活source venv/bin/activate前端构建第一次需要之后不用cd frontendnpm installnpm run buildcd ..启动 OpenClawpython main.py正常启动你会看到类似这样的输出INFO: Started server process [XXXX]INFO: Listening on http://0.0.0.0:8000INFO: OpenClaw is ready!验证部署打开浏览器访问 http://你的服务器IP:8000能看到界面就说明启动成功了随便输个问题测试一下能正常回复就是部署完成了Nginx 反向代理可选如果你想通过域名访问并且加 HTTPS可以用 Nginx 反向代理server {listen 80;server_name your-domain.com;location / {proxy_pass http://127.0.0.1:8000;proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme;}}然后用 Lets Encrypt 申请免费证书sudo certbot --nginx -d your-domain.com开机自启推荐用 systemd 设置开机自启服务器重启后 OpenClaw 自动起来sudo vim /etc/systemd/system/openclaw.service内容如下修改成你自己的路径[Unit]DescriptionOpenClaw AI AssistantAfternetwork.target[Service]TypesimpleUser你的用户名WorkingDirectory/path/to/openclawExecStart/path/to/openclaw/venv/bin/python main.pyRestartalwaysRestartSec10EnvironmentPYTHONUNBUFFERED1[Install]WantedBymulti-user.target保存后启用sudo systemctl daemon-reloadsudo systemctl enable openclawsudo systemctl start openclaw查看状态sudo systemctl status openclaw总结现在你已经拥有了一个完全本地运行的大模型助手了✅ 数据完全存在自己服务器隐私有保障✅ 不用再交 API 月租一次部署终身可用✅ 支持各种模型随时可以换更大更好的模型✅ OpenClaw 自带工具调用能力能扩展各种功能这篇是《大模型落地踩坑日记》的第五篇下一篇我会分享 RAG 优化实战五种方法提升大模型知识库回答准确率感兴趣可以关注专栏。如果你部署的时候碰到其他坑欢迎在评论区留言我会帮你解答。标签OpenClaw 大模型 本地部署 Llama3 AI 隐私 服务器部署本篇文章收录于专栏 《大模型落地踩坑日记》记录从 0 到 1 搭建 AI 应用踩过的坑帮你少走弯路持续更新中。