环境:
Llama3-8B
问题描述:
Ollama怎么启动.gguf 大模型
解决方案:
要使用 Ollama 启动 .gguf 大模型,你可以按照以下步骤操作:
- 创建 Modelfile:首先,创建一个名为 Modelfile的文件,使用FROM指令指定要导入的.gguf模型的本地文件路径。例如:FROM /path/to/your/model.gguf

 
如果模型需要一个提示模板来正确回答问题,可以在 Modelfile 中使用 TEMPLATE 指令指定默认的提示模板 。
- 创建 Ollama 模型:使用 ollama create命令从Modelfile创建模型:
打开ollama 终端进入大模型文件夹输入:
ollama create model_name -f Modelfile
ollama create Llama3-8B -f Modelflie.txt
这里 model_name 是你为模型指定的名称,Modelfile 是你创建的配置文件的路径 。

-  运行模型:使用 ollama run命令运行模型:ollama run model_name ollama run Llama3-8B这将加载并启动模型,使其可用于推理 。 
  
-  使用模型:一旦模型启动,你可以与之交互,例如通过命令行输入提示并接收模型的响应。 
请注意,Ollama 支持从 .gguf 格式直接创建模型,但确保你使用的 Ollama 版本支持该格式,并且你已经正确安装了 Ollama 并具备了所有必要的依赖项。如果需要进一步的帮助或遇到问题,可以查阅 Ollama 的官方文档或社区支持资源 。
 
感觉有点问题
 
更改缓存文件位置,改完重启Ollama



















