LlamaFactory 前言
LLaMA Factory 是一个用于微调大型语言模型的强大工具,特别是针对 LLaMA 系列模型。
可以适应不同的模型架构和大小。
支持多种微调技术,如全参数微调、LoRA( Low-Rank Adaptation )、QLoRA( Quantized LoRA )等。
还给我们提供了简单实用的命令行接口。
支持多 cpu 训练,多任务微调,还有各种内存优化技术,如梯度检查点、梯度累积等。
支持混合精度训练,提高训练效率。
本文不再赘述 LlamaFactory 的安装过程
LlamaFactory参数基本设置
打开我们 LlamaFactory 的 web 运行界面,进入根目录执行下列命令:
llamafactory-cli webui
 
看到下列界面
 
 在浏览器打开我们开启的 webui 界面 http://127.0.0.1:7860:
 
 我们依次来解释每个参数的选择:
这里是语言选择
选择 zh 即可。
 
 模型选择
选择适合自己的模型,这里都会从 Hugging Face 里面下载,
 
 这一步是自定义路径
一般就用选择好的默认路径即可。
 
 微调方法:
这里有三种,full全参数微调, Freeze(冻结部分参数) LoRA&













![[AI 快手 LivePortrait] 引领高效肖像动画新时代](https://img-blog.csdnimg.cn/img_convert/8a8c6cced811ca1f32b8829a6a80ee70.jpeg)





