别再让核心数据裸奔了三步搭建你自己的AI能力中心成本不到云服务的一半引言为什么2026年每家企业都该有个“私人大模型”你有没有遇到过这种情况想让AI帮忙分析公司上季度的销售数据但又怕把Excel上传到云端后被泄露想用大模型写代码但公司代码库是核心资产不敢外传数据安全是企业使用大模型的第一道红线。根据一份2025年的行业调研超过70%的中小企业因为担心数据泄露而放弃了云端大模型API。这不是保守这是清醒——没人愿意拿核心机密去赌一个“概率性安全”。那怎么办答案是私有化部署。把你自己的大模型装在你自己的服务器上数据不出门结果却和ChatGPT一样好甚至更好——因为你可以喂给它你独有的业务知识。今天我就带你完整走一遍企业级大模型私有化部署的全流程。全程实操命令可复制架构可落地。你不需要是AI专家只要会敲Linux命令就能搭起属于自己的AI能力底座。一、整体架构先看懂我们要搭什么1.1 为什么不能“一个服务器搞定一切”很多新手会问我就一台机器把Dify、Ollama、XInference全装一起不行吗行但不推荐。大模型推理尤其是生成回答时非常消耗GPU资源而Dify应用编排主要消耗CPU和内存。混在一起两者会互相抢资源。更麻烦的是当你以后想单独升级模型或扩展算力时混装会让你拆不开。所以我们采用“一主两辅”的分离架构【主服务器】Dify应用平台编排RAG、Agent、工作流 │ ├── 【GPU服务器A】Ollama部署大语言模型如Qwen3 │ └── 【GPU服务器B】XInference部署嵌入模型 重排序模型如果你只有一台机器也可以先在一台机器上用不同端口模拟但生产环境建议分开。1.2 为什么同时用Ollama和XInferenceOllama专注大语言模型LLM上手极简一行命令就能跑起Qwen、Llama。但它对嵌入模型Embedding和重排序模型Rerank支持很弱。XInference功能更全面不仅支持LLM还完美支持Embedding和Rerank。这两个模型是RAG知识库的核心——没有它们你的私有知识就没办法被检索和精排。结论用Ollama跑对话大模型用XInference跑RAG所需的向量化和精排模型。两者配合才是企业级完整方案。1.3 一张表看懂三个模型各司其职在企业RAG应用中有三个关键环节需要不同模型环节用的模型做什么通俗解释知识入库Embedding模型把文档变成向量把“苹果好吃”转成计算机能算的数学向量召回排序Rerank模型对检索结果精排从一堆可能相关的内容里挑出最靠谱的答案生成LLM基于检索结果写回答大模型根据你给的材料像人一样组织语言 Rerank为什么重要 初步检索可能捞回20条相关片段其中夹杂不少噪音。Rerank模型会重新打分把最相关的排前面。这样LLM生成答案时就不会被无关信息干扰质量大幅提升。代价是会增加一点延迟适合知识库问答、客服系统等高精度场景。二、部署Dify——你的AI应用“总控台”Dify是一个开源的全能LLM应用开发平台你可以在上面像搭积木一样创建RAG知识库、智能体Agent、自动化工作流。而且它提供可视化界面产品经理都能上手。2.1 租赁一台主服务器以腾讯云为例配置要求不高因为Dify本身不跑模型CPU4核内存8GB系统Ubuntu 22.04带宽按量付费拉满实际用不了多少安全组要开放这些端口22 → SSH远程登录80 / 443 → 网页访问6006 → 后面给Ollama调用可自定义2.2 安装Docker完整命令注释Dify依赖Docker运行。如果你的服务器还没装Docker一步步执行# 1. 更新系统软件包-y 表示自动确认 sudo apt update sudo apt upgrade -y # 2. 安装Docker依赖工具 sudo apt install -y ca-certificates curl gnupg lsb-release # 3. 添加Docker官方GPG密钥用阿里云镜像加速 curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add - # 4. 添加Docker软件源根据你的系统版本自动匹配 sudo add-apt-repository deb [archamd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable # 5. 安装Docker核心组件 sudo apt-get install -y docker-ce docker-ce-cli containerd.io # 6. 启动Docker服务并设置开机自启 sudo systemctl start docker sudo systemctl enable docker # 7. 检查Docker是否正常运行看到active (running) 就OK sudo systemctl status docker常见问题解决如果启动失败提示“service is masked”执行sudo systemctl unmask docker.service sudo systemctl start docker配置镜像加速器解决国内拉取镜像慢的问题sudo vi /etc/docker/daemon.json粘贴以下内容多个镜像源提高成功率{ registry-mirrors: [ https://docker.unsee.tech, https://dockerpull.org, https://mirror.baidubce.com, https://hub-mirror.c.163.com ] }保存后重启Dockersudo systemctl daemon-reload sudo systemctl restart docker2.3 下载并启动Dify推荐稳定版0.15.5# 创建Dify目录 cd /opt sudo mkdir dify cd dify # 下载离线包如果网速慢可以用课程资料里提前准备好的包 # 这里假设你已经用Xftp把dify-0.15.5.tar.gz上传到了/opt/dify sudo tar -zxvf dify-0.15.5.tar.gz # 进入docker目录 cd /opt/dify/dify-0.15.5/docker # 复制环境变量模板 sudo cp .env.example .env # 启动所有容器-d 表示后台运行 sudo docker compose up -d第一次启动会拉取多个镜像可能需要几分钟。看到类似下面的输出表示成功[] Running 11/11 ✔ Container docker-redis-1 Started ✔ Container docker-db-1 Started ✔ Container docker-api-1 Started ✔ Container docker-nginx-1 Started ...检查所有容器是否正常运行sudo docker compose ps应该看到11个容器状态都是Up。2.4 访问Dify并初始化在浏览器输入http://你的服务器公网IP/install按照页面提示设置管理员邮箱和密码注册完成后就可以登录Dify控制台了。小贴士如果页面一直加载不出来可能是容器还没完全就绪。等一两分钟或者重启一下Dockersudo docker compose restart三、部署大语言模型——用Ollama跑起你的第一个对话模型3.1 租赁GPU服务器以AutoDL为例因为大模型推理需要GPU我们租一台带显卡的云服务器。推荐使用AutoDL按小时计费灵活便宜。配置单卡RTX 409024G显存区域选择西北B区资源相对充足镜像PyTorch 2.0 CUDA 11.8预装Python环境开放端口注意AutoDL只开放6006端口供外部访问租好后复制登录指令ssh rootxxx.xxx.xxx.xxx -p 端口号用XShell连接。注意AutoDL默认会开启“学术加速”可以方便地访问GitHub和HuggingFace。在终端执行source /etc/network_turbo3.2 安装Ollama# 进入数据目录如果没有就创建 cd /data/dify sudo mkdir -p /data/dify # 一键安装Ollama官方脚本 curl -fsSL https://ollama.com/install.sh | sh安装完成后启动Ollama服务并允许外部访问因为Dify在另一台服务器# 监听所有网络接口的6006端口 OLLAMA_HOST0.0.0.0:6006 ollama serve注意这个命令会阻塞终端。建议开两个终端窗口一个跑服务另一个执行后续命令。或者用screen/tmux后台运行。3.3 下载并运行大语言模型以通义千问Qwen3:4b为例4B参数显存占用约8GB# 先开启学术加速如果还没开 source /etc/network_turbo # 拉取并运行模型注意这里用127.0.0.1是因为我们在本地执行命令 OLLAMA_HOST127.0.0.1:6006 ollama run qwen3:4b第一次运行会自动下载模型约2.5GB等待下载完成。成功后会出现一个交互式对话界面输入问题测试 你好请介绍一下你自己 我是Qwen3一个开源大语言模型...按Ctrl D退出对话。如果下载太慢可以先用小模型试试OLLAMA_HOST127.0.0.1:6006 ollama run qwen2.5:1.5b离线方案如果网络实在不行可以下载离线模型包上传到~/.ollama/models目录。3.4 在Dify中接入Ollama模型回到Dify网页控制台点击右上角头像 →设置→模型供应商找到Ollama点击“安装”填写配置配置项填写内容模型名称qwen3:4b基础URLhttp://你的Ollama服务器内网IP:6006模型类型对话模型点击保存。稍等片刻模型就会出现在可用模型列表中。四、部署嵌入模型和重排序模型——用XInference补全RAG能力4.1 租赁第二台GPU服务器同样在AutoDL重复上面的租用流程再开一台同样配置的服务器。这次用来跑XInference。连接后同样开启学术加速source /etc/network_turbo4.2 安装XInference指定稳定版本# 升级pip python -m pip install --upgrade pip # 安装XInference 1.13.0最新版可能有兼容问题 pip install xinference1.13.0 # 安装PyTorch使用清华源加速 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch # 升级CUDA版本的PyTorch pip install --upgrade torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装额外依赖 pip install sentence-transformers sentencepiece transformers关键步骤降级xoscar否则可能启动报错pip install xoscar0.6.24.3 启动XInference服务# 监听所有网卡端口6006 xinference-local --host 0.0.0.0 --port 6006同样这个命令会阻塞终端建议用另一个窗口操作。4.4 下载嵌入模型Embedding方式一在线下载推荐但需要稳定网络在浏览器访问http://你的XInference服务器公网IP:6006你会看到XInference的Web界面。点击“Launch Model”模型类型Embedding模型名称bge-large-zh-v1.5模型格式pytorch点击下载等待完成。这个过程可能需要十几分钟因为模型约1.3GB。方式二离线上传如果在线下载失败从HuggingFace下载模型文件https://huggingface.co/BAAI/bge-large-zh-v1.5/tree/main在服务器上创建缓存目录mkdir -p ~/.xinference/cache/bge-large-zh-v1.5用Xftp把下载好的模型文件上传到这个目录设置权限chmod -R 777 ~/.xinference/cache/bge-large-zh-v1.5加载模型xinference launch --model-name bge-large-zh-v1.5 --model-type embedding --model-path ~/.xinference/cache/bge-large-zh-v1.5/ --endpoint http://localhost:60064.5 下载重排序模型Rerank同样在XInference Web界面模型类型Rerank如果版本较低可能显示为cross-encoder模型名称bge-reranker-base或者离线下载https://huggingface.co/BAAI/bge-reranker-base/tree/main上传到~/.xinference/cache/bge-reranker-base然后加载xinference launch --model-name bge-reranker-base --model-type rerank --model-path ~/.xinference/cache/bge-reranker-base/ --endpoint http://localhost:60064.6 在Dify中接入XInference模型回到Dify控制台设置 → 模型供应商 → Xinference添加嵌入模型配置项填写内容模型名称bge-large-zh-v1.5服务器URLhttp://你的XInference内网IP:6006模型类型Embedding添加重排序模型配置项填写内容模型名称bge-reranker-base服务器URLhttp://你的XInference内网IP:6006模型类型Rerank保存后Dify就可以使用这些模型了。五、验证效果跑通第一个RAG问答现在所有组件都已就绪。我们来创建一个最简单的知识库问答应用。5.1 在Dify中创建知识库点击知识库→创建知识库上传一份你的企业文档PDF、Word、TXT都行选择嵌入模型为 bge-large-zh-v1.5Dify会自动对文档进行切片和向量化5.2 创建对话应用点击工作室→创建应用→对话型应用在上下文中关联刚才创建的知识库选择大语言模型为 qwen3:4b开启重排序功能如果支持5.3 提问测试在对话界面输入“请根据我们的知识库总结一下公司的主要业务。”系统会把你的问题向量化Embedding在知识库中检索相关片段对检索结果重排序Rerank把最相关的片段和问题一起交给LLMLLM生成回答如果一切正常你会看到基于你私有文档的准确回答而不是模型的“瞎编”。总结从“不敢用”到“放心用”你只差这一套方案到这里你已经完成了企业级大模型私有化部署的全流程。回顾一下我们做了什么✅ 搭建了Dify应用编排平台✅ 用Ollama部署了大语言模型✅ 用XInference部署了Embedding和Rerank模型✅ 在Dify中集成了所有模型跑通了RAG问答这套方案的核心价值有三点数据安全所有模型和数据都在你自己的服务器上没有数据外泄风险。成本可控相比调用云端API私有化部署在大量使用时成本更低且没有按次计费的焦虑。能力完整同时支持对话、知识库检索、重排序覆盖企业90%的AI应用场景。当然生产环境还有更多细节要优化比如使用负载均衡和高可用架构对模型进行量化压缩以降低显存建立监控和日志系统定期备份知识库向量数据但无论如何你已经迈出了最关键的一步——从0到1搭起了自己的AI能力底座。下一步你可以基于这个底座开发智能客服、代码助手、销售陪练……想象力有多大应用就有多广。如果部署过程中遇到问题欢迎在评论区留言。我会定期回复。也可以关注我的专栏后续会有更多实战文章。私有化AI不再是巨头的专利。你也可以。