现象：
cuda_fp8.h错误
原因：
CUDA Toolkit 小于11.8,会报fp8错误，因此是cuda工具版本太低。通过nvcc --version查看
CUDA Toolkit 是 NVIDIA 提供的一套 用于开发、优化和运行基于 CUDA 的 GPU 加速应用程序的工具集合。它的核心作用是让开发者能够利用 NVIDIA GPU 的强大并行计算能力来加速计算密集型任务。
一、CUDA Toolkit 的主要作用
1. 提供编程接口（API）
CUDA Toolkit 包含了 CUDA C/C++ 编译器（nvcc），它允许你编写、编译和运行在 GPU 上执行的代码。
提供 CUDA Runtime API 和 Driver API，使你可以控制 GPU 设备、分配内存、启动内核等。
2. 支持深度学习框架
大多数深度学习框架（如 PyTorch、TensorFlow、JAX）底层依赖 CUDA 来实现 GPU 加速。
它们会使用 CUDA Toolkit 中的组件（如 cuBLAS、cuDNN、cuFFT 等）进行高效矩阵运算、卷积操作等。
3. 提供高性能数学库
包括：
cuBLAS：GPU 加速的基础线性代数库
cuFFT：快速傅里叶变换
cuRAND：随机数生成
cuSPARSE / cuSOLVER：稀疏矩阵与求解库
这些库已经被广泛集成到科学计算、AI、图像处理等领域中。
4. 调试与性能分析工具
Nsight Systems 和 Nsight Compute：可视化地分析 GPU 内核性能、资源占用、瓶颈等。
cuda-gdb：用于调试 CUDA 程序的 GDB 扩展。
可帮助开发者优化程序，提高 GPU 利用率。
5. 兼容不同版本的 GPU 驱动
CUDA Toolkit 通常会对应一个或多个 NVIDIA 驱动版本范围，确保你的系统能正确支持目标 GPU 架构（如 Turing、Ampere、Hopper）。
解决方案：
第一步下载工具
去CUDA Toolkit 12.9 Downloads | NVIDIA Developer下载高版本，本次下载了
wget https://developer.download.nvidia.com/compute/cuda/12.9.0/local_installers/cuda_12.9.0_575.51.03_linux.run
sudo sh cuda_12.9.0_575.51.03_linux.run第二步设置环境变量
vim /etc/profile
export PATH=/usr/local/cuda-12.9/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.9/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
source /etc/profile第三步设验证
nvcc --version
不同地方的cuda版本说明：
- nvidia-smi显示的CUDA版本是12.2：这个命令显示的是驱动程序支持的最高CUDA版本。也就是说，安装在系统上的NVIDIA驱动程序能够支持CUDA 12.2及以下版本的应用程序。
- nvcc --version显示的是CUDA 11.5：nvcc是CUDA编译器驱动程序，它的版本号反映了实际安装的CUDA Toolkit版本。这里表明你的系统中安装了CUDA 11.5版本的Toolkit。
- 通过Python脚本打印PyTorch使用的CUDA版本为12.4：这表示你当前使用的PyTorch构建版本与CUDA 12.4兼容。然而，这并不直接反映系统上实际安装的CUDA Toolkit版本，而是表明该PyTorch版本可以与CUDA 12.4一起工作（如果相应的CUDA Toolkit已安装）。
