linux本地部署ollama+deepseek过程

news2025/5/20 1:24:43

1.Tags · ollama/ollama · GitHub 选择一个版本下载，我下的是0.5.12

2.tar解压该文件

3.尝试启动ollama

ollama serve

4.查看ollama的版本

ollama -v

5.创建一个系统用户 ollama，不允许登录 shell，拥有一个主目录，并且用户组也叫 ollama

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama

6.把当前登录用户（比如你）添加到 ollama 用户组中，以便你可以访问或操作 ollama 用户拥有的资源

sudo usermod -a -G ollama $(whoami)

7.创建 /etc/systemd/system/ollama.service 文件

sudo vim /etc/systemd/system/ollama.service

8. 编写文件

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_MODELS=/home/ollama/models" #这一行目的是告诉ollama下载的大模型存在哪
Environment="OLLAMA_HOST=0.0.0.0:11434" #这一行是为了能够远程访问ollama

[Install]
WantedBy=multi-user.target

9. 保存文件回到命令行

sudo chown -R ollama:ollama /home/ollama/models/

sudo chmod -R 777 /home/ollama/models/    #以上两行为了赋权

sudo systemctl daemon-reload           #刷新配置

sudo systemctl restart ollama             #重启ollama

10.试试有没有部署成功，如下图所示

systemctl status ollama.service

这样就算成功了

11.部署deepseek，先查看你要部署哪个版本，打开https://ollama.com/library/deepseek-r1

12.比如我要下载deepseek-r1:1.5b

ollama run deepseek-r1:1.5b

13.下载完会自动运行，你也可以远程尝试调用，执行下列代码：

windows系统 cmd下：

curl -X POST "http://替换成ollama部署的地址:11434/api/generate" ^
     -H "Content-Type: application/json" ^
     -d "{\"model\":\"deepseek-r1:1.5b\",\"prompt\":\"what can you do?\",\"stream\":false}"

成功调用如下图所示：