本地化部署大模型在2026年已经不是尝鲜而是刚需——数据隐私、网络隔离、成本控制都推动着企业走向自托管。Ollama是目前最简单易用的本地LLM运行工具本文从入门到生产全面解析其工程化部署方案。—## 为什么选择Ollama在本地LLM运行工具中Ollama以极简的使用体验脱颖而出-一行命令启动模型ollama run llama3.2就能运行一个7B模型-跨平台支持macOSApple Silicon/Intel、Linux、Windows WSL2-REST API兼容和OpenAI SDK接口格式兼容迁移成本极低-模型管理内置模型拉取、删除、列表管理缺点同样明显性能不如vLLM不支持多GPU张量并行不适合大规模并发生产。但对中小团队的私有化部署Ollama是最务实的选择。—## 安装与基础配置### Linux服务器安装bash# 一键安装curl -fsSL https://ollama.ai/install.sh | sh# 验证安装ollama --version# 以服务方式启动开机自启sudo systemctl enable ollamasudo systemctl start ollama# 检查服务状态sudo systemctl status ollama### 配置外部访问默认Ollama只监听127.0.0.1生产环境需要配置bash# 编辑systemd服务文件sudo systemctl edit ollama# 添加以下内容[Service]EnvironmentOLLAMA_HOST0.0.0.0:11434EnvironmentOLLAMA_ORIGINS*EnvironmentOLLAMA_MODELS/data/ollama/models # 自定义模型存储路径# 重启服务sudo systemctl daemon-reloadsudo systemctl restart ollama### GPU配置bash# NVIDIA GPU配置# 安装CUDA驱动后Ollama自动检测并使用GPU# 验证GPU是否被使用ollama run qwen2.5:7b 你好# 运行时观察 nvidia-smi 是否有GPU使用率# 指定使用特定GPUCUDA_VISIBLE_DEVICES0,1 ollama serve—## 模型选型指南2026版| 模型 | 参数量 | 显存需求 | 适用场景 ||------|--------|---------|---------|| Qwen2.5:7b | 7B | 8GB | 通用对话、中文优化 || Qwen2.5:14b | 14B | 16GB | 高质量中文生成 || Llama3.2:3b | 3B | 4GB | 资源受限环境 || Llama3.1:70b | 70B | 48GB | 高质量英文任务 || DeepSeek-r1:7b | 7B | 8GB | 推理和代码 || CodeLlama:13b | 13B | 16GB | 代码生成 || nomic-embed-text | - | 1GB | 文本嵌入 |推荐配置- 8GB显存服务器Qwen2.5:7b中文场景最优- 16GB显存服务器Qwen2.5:14b 或 DeepSeek-r1:14b- 无GPU使用CPU运行3B模型慢但可用bash# 拉取推荐模型ollama pull qwen2.5:7bollama pull nomic-embed-text # 向量化模型# 查看已安装模型ollama list# 查看模型信息ollama show qwen2.5:7b—## 自定义ModelfileOllama支持通过Modelfile自定义模型行为类似于Docker的Dockerfiledockerfile# Modelfile - 企业知识库问答助手FROM qwen2.5:7b# 设置系统提示SYSTEM 你是一位专业的企业内部助手专门回答关于公司产品、政策和流程的问题。规则1. 只回答与公司业务相关的问题2. 如果不确定明确说明并建议联系相关部门3. 保持专业、简洁的回答风格4. 不得泄露任何标记为机密的信息公司ExampleCorp当前日期{date}# 调整生成参数PARAMETER temperature 0.3 # 较低温度更确定性的输出PARAMETER top_p 0.9PARAMETER num_ctx 8192 # 上下文窗口大小PARAMETER repeat_penalty 1.1 # 减少重复# 设置停止符PARAMETER stop 用户PARAMETER stop 助手bash# 从Modelfile创建自定义模型ollama create company-assistant -f Modelfile# 测试ollama run company-assistant 我们公司的年假政策是什么—## OpenAI兼容API集成Ollama提供了与OpenAI格式兼容的REST API可以无缝替换pythonfrom openai import OpenAI# 直接使用OpenAI SDK连接Ollamaclient OpenAI( base_urlhttp://localhost:11434/v1, api_keyollama # Ollama不需要真实API key)# 对话生成def chat(messages: list[dict], model: str qwen2.5:7b) - str: response client.chat.completions.create( modelmodel, messagesmessages, temperature0.7, max_tokens2048 ) return response.choices[0].message.content# 流式输出def chat_stream(messages: list[dict], model: str qwen2.5:7b): stream client.chat.completions.create( modelmodel, messagesmessages, streamTrue ) for chunk in stream: if chunk.choices[0].delta.content: yield chunk.choices[0].delta.content# 文本向量化def embed(text: str, model: str nomic-embed-text) - list[float]: response client.embeddings.create( inputtext, modelmodel ) return response.data[0].embedding### LangChain集成pythonfrom langchain_ollama import ChatOllama, OllamaEmbeddingsfrom langchain_core.prompts import ChatPromptTemplate# 初始化llm ChatOllama( modelqwen2.5:7b, temperature0.3, base_urlhttp://localhost:11434)embeddings OllamaEmbeddings( modelnomic-embed-text, base_urlhttp://localhost:11434)# 构建RAG链from langchain_community.vectorstores import Chromafrom langchain_core.runnables import RunnablePassthrough# 创建向量库使用本地embeddingsvectorstore Chroma.from_texts( texts[公司假期政策..., 报销流程...], embeddingembeddings)retriever vectorstore.as_retriever(search_kwargs{k: 3})prompt ChatPromptTemplate.from_template(根据以下上下文回答问题上下文{context}问题{question})chain ( {context: retriever, question: RunnablePassthrough()} | prompt | llm)result chain.invoke(公司的年假是多少天)—## 生产部署Nginx负载均衡多实例对于需要处理并发的场景可以运行多个Ollama实例bash# 启动多个Ollama实例不同端口OLLAMA_HOST0.0.0.0:11434 ollama serve OLLAMA_HOST0.0.0.0:11435 ollama serve OLLAMA_HOST0.0.0.0:11436 ollama serve nginxupstream ollama_cluster { least_conn; # 最少连接数负载均衡 server localhost:11434 weight1; server localhost:11435 weight1; server localhost:11436 weight1;}server { listen 80; location /api { proxy_pass http://ollama_cluster; proxy_read_timeout 300s; proxy_buffering off; }}—## 监控指标bash# Ollama暴露Prometheus格式的指标curl http://localhost:11434/metrics# 关键指标# ollama_request_duration_seconds - 请求延迟# ollama_prompt_tokens_total - 输入Token总量# ollama_completion_tokens_total - 输出Token总量# ollama_load_duration_seconds - 模型加载时间—## 资源规划参考| 场景 | 推荐配置 | 模型 | 并发能力 ||------|---------|------|---------|| 个人开发 | MacBook M2 16GB | Qwen2.5:7b | 1 || 小团队10人 | 16G显卡服务器 | Qwen2.5:14b | 3-5 || 中型团队10-50人 | 2×24G显卡 | Qwen2.5:32b | 10-15 || 企业私有化 | 4×80G A100 | Qwen2.5:72b | 20 |Ollama把本地运行大模型这件事变得前所未有地简单。对于有数据隐私需求、网络隔离要求或成本控制压力的团队本地部署方案在2026年已经是一个值得认真考虑的选项。