Linux之固定IP地址、启动部署好的LLM服务
一、固定Linux的IP地址原因断电、关机重启会导致服务器ip地址发生改变IP地址发生变换会导致shell无法连接服务器。固定IP地址可以方便我们使用shell连接服务器稳定操作所以了解固定IP是非常有必要的。这里推荐使用服务器图形化操作界面具体操作如下1.1确定一些关键信息当前网段、子网掩码、网关地址、DNS服务器打开服务器终端分别执行下面的命令查看当前网段ip addr show 网卡名称网卡名称获取方法在终端输入ip a会返回etho、ens33或者enp*开头的有线接口。比如我的是enp132s0查看网关地址ip route | grep default查看DNS服务器cat /etc/resolv.conf1.2配合图形化界面固定IP1. 打开 Settings → 左侧选择 Network。2. 找到对应的有线连接 Wired 点击右侧的 齿轮图标。3. 切换到 IPv4 标签页将 Method 从 Automatic (DHCP) 改为 Manual手动。在 Addresses 栏填写Address你要固定的 IP需和网关同网段且未被占用比如 192.168.1.200 Netmask 255.255.255.0 或 /24 如果掩码是/22那么就填255.255.252.0Gateway刚才查到的网关地址比如 192.168.1.1 在 DNS 栏填写刚才记录的 DNS 地址比如 8.8.8.8, 114.114.114.114 。4. 点击 Apply 应用配置然后重启网络或服务器生效。IP固定完成二、启动部署好的LLM服务操作前提使用ollama部署好了LLM在服务器上,然后使用shell工具连接服务器。1、查看ollama版本信息ollama --version2、这步可以忽略不做因为我这里有两张显卡我这里约定绑定卡0export CUDA_VISIBLE_DEVICES03、启动服务# 1. 用环境变量指定监听地址0.0.0.0和端口11434启动服务核心修复ollama serve 后不带任何参数 OLLAMA_HOST0.0.0.0 OLLAMA_PORT11434 nohup ollama serve ollama.log 21 # 2. 等待 10 秒让服务完全初始化 sleep 10 [1] 452154、测试一下服务curl http://localhost:11434/v1/models5、查看一下本地模型ollama list
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2434061.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!