AI大模型本地简易搭建方式
- 前言
- 步骤
- 下载Ollama
- 安装Ollama
- 修改Ollama中下载模型的位置
- 检查Ollama是否安装成功
- 下载模型
- 尝试与模型对话
- 使用API访问模型
- 下载Docker(后续补充Docker运行OpenWebUI方式)
- 总结
前言
朋友想要实现一个本地ChatGPT风格的对话功能,在Steam Deck上再安装一遍,记录一下。

步骤
下载Ollama
到Github上直接点击下载
GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma 2, and other large language models.

安装Ollama
双击安装即可

修改Ollama中下载模型的位置
这里防止所有模型都下载到C盘,可以修改一下下载位置

可以在其他盘建一个空文件夹存放模型,此处在D盘新建ollamamodel文件夹,并修改系统环境变量,记得点确定

检查Ollama是否安装成功
检查托盘图标和控制台输入ollama来测试是否正常安装


下载模型
可以在这里找到自己想使用的模型
Ollama Models
里面会有对应的命令直接复制粘贴到命令行即可
比如我们要下载qwen2的1.5B模型,选择qwen2

进入并复制命令

在控制台粘贴此命令

耐心等待下载即可

尝试与模型对话
此时说明模型加载完毕,可以进行对话测试

可以尝试输入问题进行对话

输入/?可查看常用命令
输入/bye可退出聊天

使用API访问模型
Ollama API使用指南

下载Docker(后续补充Docker运行OpenWebUI方式)
去官网下载即可
Docker官网

总结
Steam Deck可能会成为未来微粒计算以及智能硬件的个人计算中枢雏形。



















