一、硬件和系统
- 操作系统: Ubuntu 24.04.2 LTS（64位）
- GPU: NVIDIA RTX 4090 笔记本 GPU，16GB显存
- CPU: 建议高性能多核 CPU（如 Intel i7/i9 或 AMD Ryzen 7/9）以支持数据预处理，我的是32核。
- RAM: 至少 32GB，推荐 64GB 以支持大型模型加载和数据处理，我的是64GB内存。
- 存储: NVMe SSD（至少 500GB 可用空间），用于存储模型权重、数据集和缓存文件，我的SSD2TB。
- 网络: 稳定的科学的网络连接，用于下载依赖和模型
注意: RTX 4090 笔记本 GPU 的 16GB VRAM 限制了可运行的模型大小。建议使用 4-bit 或 8-bit 量化模型（如 LLaMA 3.1 8B 或 13B）以适应 VRAM 限制。
二、安装NVIDIA驱动和CUDA
RTX 4090 需要最新的 NVIDIA 驱动和 CUDA 工具包以支持 GPU 加速。安装前检查机器配置，要适配自己的机器配置才行。
1、检查GPU识别
lspci | grep -i nvidia
# 输出应显示类似 "NVIDIA Corporation Device" 的信息。
# 如果没有输出，可能需要检查硬件连接或 BIOS 设置。
01:00.0 VGA compatible controller: NVIDIA Corporation GN21-X11 (rev a1)
01:00.1 Audio device: NVIDIA Corporation Device 22bb (rev a1)
2、检查推荐的驱动
ubuntu-drivers devices
## 输出内容找到类似 "driver : nvidia-driver-575 - third-party non-free recommended" 的信息
vendor : NVIDIA Corporation
model : GN21-X11
driver : nvidia-driver-535-open - distro non-free
driver : nvidia-driver-575 - third-party non-free recommended
driver : nvidia-driver-535-server-open - distro non-free
driver : nvidia-driver-570-server-open - distro non-free
输出会显示推荐的驱动版本（如 nvidia-driver-575）。注意recommended信息。
3、安装推荐的驱动
sudo apt install nvidia-driver-575 -y
4、重启系统后验证驱动安装
sudo reboot
nvidia-smi
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 570.133.20 Driver Version: 570.133.20 CUDA Version: 12.8 |
|-----------------------------------------+------------------------+----------------------+
输出应显示 RTX 4090 的信息和驱动版本（如 550.XX）。
⚠️注意：安装推荐的驱动时自动安装的是CUDA运行时环境（包含基础库和头文件），但不会包含完整的CUDA Toolkit开发工具链（如nvcc编译器）。如需完整开发环境仍需单独安装。
nvidia-smi # 确认驱动版本和CUDA兼容性
ls /usr/local # 查看已安装的CUDA版本目录
假如我的驱动版本和CUDA版本分别是：Driver Version: 570.133.20 CUDA Version: 12.8 ，再查看已安装的CUDA版本目录，假如根据我的目录结构（已存在cuda-12.9），安装CUDA 12.8时需注意以下关键点：
1. 版本共存机制
- CUDA支持多版本共存，不同版本会安装到独立目录（如
/usr/local/cuda-12.8和/usr/local/cuda-12.9） - 默认符号链接
/usr/local/cuda会指向最后安装的版本，可通过ls -l /usr/local/cuda查看当前激活版本
2.安装CUDA12.8
# 添加NVIDIA官方仓库（Ubuntu 24.04）
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update
# 安装指定版本
sudo apt install cuda-12-8
3.切换版本
# 修改符号链接指向目标版本
sudo rm /usr/local/cuda
sudo ln -s /usr/local/cuda-12.8 /usr/local/cuda
# 更新环境变量
echo 'export PATH=/usr/local/cuda-12.8/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc
4.冲突排查
- 驱动兼容性：CUDA 12.8要求驱动版本≥570.41.03，你的驱动570.133.20已满足
- 路径冲突：若安装失败，检查
/usr/local/cuda-12.8是否已存在，可手动删除旧目录 - 工具链验证：安装后运行
nvcc --version和nvidia-smi确认版本对应关系
⚠️注意
- 同时只能有一个CUDA版本通过
/usr/local/cuda符号链接激活，但编译时可显式指定路径（如I/usr/local/cuda-12.9/include） - 深度学习框架（如PyTorch）通常依赖特定CUDA版本，需匹配其要求
- 如果需要可以使用
update-alternatives管理多版本，自己查一下使用方法。 - 另外根据我的驱动版本（570.133.20）和当前环境，NVIDIA驱动570.133.20同时支持CUDA 12.8和12.923，安装CUDA 12.9无需升级驱动。
- 若项目明确要求CUDA 12.8，需保持当前版本
- 若需Blackwell GPU（如RTX 5090）或最新特性，推荐CUDA 12.94
- 灵活一些，再查看
/usr/local/cuda-12.8发现已经安装好了，我就不切换cuda版本了。
至此，GPU驱动和CUDA工具包都安装完成了。
三、安装Python和依赖
LLaMA-Factory 基于 Python，需要安装适当的 Python 版本和依赖。
1、安装python
Ubuntu 24.04 默认包含 Python 3.12。确认版本：
python3 --version
⚠️注意：如果需要特定版本（如 3.10），可以自行安装。另外最好使用虚拟环境，用venv、uv或者conda都可以，避免以来冲突，可以自行检索搭建。
2、安装PyTorch
为 RTX 4090 安装支持 CUDA 的 PyTorch：
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu123
验证 PyTorch 是否识别 GPU：
记得切换环境，比如我用的conda，切换到指定环境conda activate llama_factory
python -c "import torch; print(torch.cuda.is_available())"
输出应为 True。
至此python环境准备完毕。这与平常python环境安装无异，很简单。
四、安装LLaMA-Factory
LLaMA-Factory 是一个用于高效微调 LLaMA 模型的框架。
⚠️注意：要科学上网
1、克隆LLaMA-Factory仓库，或者其他办法，把源码弄过来，进入LLaMA-Factory目录。
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
2、安装依赖
安装LLama-Factory所需依赖，⚠️注意切换到虚拟环境，后续就不再提示了。
pip install -r requirements.txt
-
注意: 如果遇到依赖冲突，可尝试升级 pip：
pip install --upgrade pip
3、安装额外工具
为支持量化（如 4-bit 或 8-bit）和高效推理，安装以下工具：
pip install bitsandbytes
pip install transformers>=4.41.0
pip install accelerate
至此LLaMA-Factory框架应该已经安装完成，它提供了直观的web界面，可以通过llamafactory-cli webui 启动访问。接下来就是《准备模型和数据集》。
