Ubuntu20.04深度学习环境搭建:显卡驱动、CUDA与cuDNN版本匹配全攻略
1. 为什么版本匹配是深度学习环境搭建的“生死线”朋友们如果你正准备在Ubuntu 20.04上搭建深度学习环境或者正在为“CUDA版本不兼容”、“驱动装不上”这类问题焦头烂额那这篇文章就是为你准备的。我在这条路上踩过的坑可能比很多人走过的路都多。今天我们不聊那些高深的理论就聊点最实在的怎么把显卡驱动、CUDA和cuDNN这三个“铁三角”给稳稳当当地装好让它们和谐共处别动不动就给你摆脸色看。很多新手朋友一上来就直奔主题打开终端就是一顿sudo apt install nvidia-driver然后去官网下载最新的CUDA Toolkit。结果呢要么是驱动装好了但CUDA识别不到要么是PyTorch装上了却报错说CUDA不可用最头疼的是你根本不知道问题出在哪一环。其实90%的环境搭建失败根源都出在版本不匹配上。这三个组件之间有着严格的依赖关系就像一把精密的锁驱动是钥匙胚CUDA是锁芯cuDNN是锁芯里的弹子任何一个尺寸不对这把锁就打不开。我见过太多人包括早期的我自己因为没搞清楚这个顺序反复重装系统浪费了大量时间。所以在动手之前请务必记住这个核心原则先定需求再选版本最后按顺序安装。你的需求是什么通常就是你想用的深度学习框架比如PyTorch、TensorFlow及其版本。先去框架的官网看看它支持哪些CUDA版本然后根据这个CUDA版本去倒推你需要什么版本的显卡驱动和cuDNN。这个顺序绝对不能乱否则就是“一步错步步错”等着你的就是无尽的卸载和重装。2. 动手前的必修课理清你的版本需求2.1 从终点出发先确定你的深度学习框架在开始任何安装之前你最应该打开的不是终端而是浏览器。你需要明确你的目标。比如你最近的项目需要用PyTorch 2.0来做大模型微调。那么立刻访问 PyTorch官网。在官网的安装命令生成器里你会看到类似这样的选项PyTorch Build: Stable (2.3.0) Your OS: Linux Package: pip Language: Python Compute Platform: CUDA 11.8注意这个Compute Platform它明确告诉你当前PyTorch 2.3.0稳定版官方预编译的包是针对CUDA 11.8构建的。虽然它也可能会列出CUDA 12.1但CUDA 11.8通常是支持最广泛、最稳定的选择。这意味着为了最顺畅地使用PyTorch你的系统环境最好就搭建CUDA 11.8。如果你强行安装CUDA 12.4PyTorch虽然可能通过一些兼容层运行但可能会遇到各种奇怪的库链接错误徒增烦恼。对于TensorFlow用户也一样去TensorFlow官网查看版本对应表。你会发现TensorFlow 2.10是最后一个支持原生GPU的Linux版本它要求CUDA 11.2和cuDNN 8.1。如果你想用更新的TensorFlow可能需要通过其他方式。所以框架的需求是最高指导原则。2.2 顺藤摸瓜确定CUDA和驱动版本确定了CUDA版本比如11.8之后下一步就是找和它匹配的显卡驱动。NVIDIA官方有一个非常重要的文档叫做CUDA Toolkit Release Notes。你搜索“CUDA 11.8 Release Notes”就能找到。在这个文档里会有一个“Table 1. CUDA Toolkit and Compatible Driver Versions”的表格。我帮你提炼一下核心信息对于CUDA 11.8它要求的最低驱动版本通常是 450.80.02。但这只是“能用”的最低标准。我个人的经验是为了稳定性和获得新显卡的全部功能尽量安装比最低要求高一到两个大版本的驱动。例如对于CUDA 11.8我会选择470.x或515.x系列的驱动。NVIDIA的驱动是向后兼容的高版本的驱动可以支持低版本的CUDA Toolkit。这里有一个关键点驱动版本决定了你能安装的CUDA Toolkit的最高版本而不是反过来。你安装了驱动版本515可以安装CUDA 11.0到11.8以及12.0等版本。但如果你先安装了CUDA 11.8它自带了一个最低版本的驱动后来想升级到CUDA 12.4很可能就需要先升级你的显卡驱动。2.3 最后一块拼图选择对应的cuDNNcuDNN是NVIDIA专门为深度神经网络设计的加速库它和CUDA版本的绑定更加紧密。在 cuDNN Archive 页面下载选项都是像“Download cuDNN v8.9.7 (November 28th, 2023), for CUDA 11.x”这样组织的。规则很简单为你安装的CUDA版本选择对应的cuDNN版本。比如你装了CUDA 11.8就选择for CUDA 11.x的cuDNN。通常同一个CUDA主版本下如11.x你可以选择该系列下最新的cuDNN小版本以获得更好的性能和修复。把这三个版本号框架-CUDA-驱动记在记事本里这就是我们接下来的行动蓝图。3. 彻底告别过去干净卸载旧环境如果你不是在一台全新的Ubuntu 20.04上操作那么大概率需要先清理旧环境。不彻底的卸载是后续所有灵异事件的根源。我们必须像外科手术一样精确。3.1 显卡驱动的卸载两种方法对应两种安装源首先检查你的驱动是怎么装上的。运行nvidia-smi如果它能正常显示显卡信息记下驱动版本号比如535.154.05。然后关键的一步是确定安装来源。情况一通过Ubuntu官方仓库或apt安装。这是最常见也是最推荐的方式。卸载命令非常干净sudo apt-get purge *nvidia* *cuda* *cudnn* -y sudo apt-get autoremove -y sudo apt-get autoclean这几条命令会移除所有与NVIDIA、CUDA、cuDNN相关的包。为了确保万无一失我还会手动删除一些残留目录sudo rm -rf /usr/lib/nvidia* sudo rm -rf /etc/OpenCL/vendors/nvidia.icd然后必须重启系统让内核彻底摆脱旧驱动的加载。情况二通过NVIDIA官方.run文件安装。如果你当初是从NVIDIA官网下载了.run文件进行安装那么卸载也需要用对应的方法sudo /usr/bin/nvidia-uninstall运行这个卸载程序它会引导你完成卸载。之后同样建议执行上面的apt purge和手动删除残留文件的操作进行交叉清理。3.2 CUDA Toolkit的卸载CUDA Toolkit如果也是用.run文件安装的它自带卸载工具。假设你的CUDA安装在/usr/local/cuda-11.8这是一个符号链接实际路径类似/usr/local/cuda-11.8sudo /usr/local/cuda-11.8/bin/cuda-uninstaller在弹出的图形化或命令行界面中选择所有组件进行卸载。完成后删除安装目录和符号链接sudo rm -rf /usr/local/cuda-11.8 sudo rm -rf /usr/local/cuda # 删除旧的符号链接注意cuda-uninstaller有时可能不会完全清理/usr/local下的文件手动检查并删除是很好的习惯。3.3 cuDNN的卸载如果之前是使用.tar或.tgz压缩包解压安装的cuDNN卸载就是简单的文件删除sudo rm -f /usr/local/cuda/include/cudnn*.h sudo rm -f /usr/local/cuda/lib64/libcudnn*如果是通过deb包安装的Ubuntu 20.04后期更推荐的方式则使用apt卸载sudo apt-get purge libcudnn* -y完成所有卸载后再次重启系统。现在你的系统应该是一张“白纸”我们可以开始全新的、有条理的安装了。4. 稳扎稳打按正确顺序安装新环境环境清理干净后我们按照驱动 - CUDA - cuDNN的黄金顺序开始安装。这个顺序确保了底层依赖的稳固。4.1 安装显卡驱动推荐使用系统仓库对于绝大多数用户我最推荐使用Ubuntu的apt仓库安装这是最稳定、最易于管理的方式。首先添加官方显卡驱动PPA仓库这里能获得较新的驱动版本sudo add-apt-repository ppa:graphics-drivers/ppa -y sudo apt update接下来查找适用于你显卡的最新推荐驱动。我们可以使用ubuntu-drivers这个工具ubuntu-drivers devices这个命令会列出所有可用的驱动并推荐一个版本后面会标有“recommended”。假设它推荐的是nvidia-driver-535。那么安装命令就是sudo apt install nvidia-driver-535 -y安装过程会编译内核模块可能需要几分钟。安装完成后必须重启计算机。 重启后打开终端输入nvidia-smi。如果你看到了一个漂亮的表格显示了显卡型号、驱动版本比如535.154.05和CUDA版本这里显示的是驱动支持的最高CUDA版本例如12.4那么恭喜你驱动安装成功了。这是万里长征的第一步也是最基础的一步。4.2 安装CUDA Toolkit使用runfile的精细控制虽然驱动装好了但nvidia-smi显示的CUDA版本只是一个“能力声明”我们还需要安装具体的CUDA Toolkit包含nvcc编译器、库文件等。我强烈建议使用runfile(local)安装方式因为它能让你自定义安装路径和组件尤其是在多版本共存时。去 CUDA Toolkit Archive 找到你之前确定好的版本比如CUDA 11.8.0。选择Linux - x86_64 - Ubuntu - 20.04 - runfile(local)。页面上会给出下载和安装命令类似这样wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run sudo sh cuda_11.8.0_520.61.05_linux.run运行安装脚本后会出现一个基于字符界面的安装向导。这里有几个至关重要的选项首先输入accept同意协议。在组件选择界面因为我们已经单独安装了更新的驱动所以一定要用空格键取消勾选Driver选项只保留CUDA Toolkit这一个选项。这是避免驱动冲突的关键。安装路径保持默认的/usr/local/cuda-11.8即可。询问是否创建符号链接/usr/local/cuda时如果你只打算用这一个CUDA版本或者希望它是默认版本就选Yes。如果打算安装多个版本并切换这里可以先选No我们后面用更灵活的方式管理。安装完成后需要手动配置环境变量。编辑你的~/.bashrc文件nano ~/.bashrc在文件末尾添加以下行请根据你的实际安装路径修改export PATH/usr/local/cuda-11.8/bin${PATH::${PATH}} export LD_LIBRARY_PATH/usr/local/cuda-11.8/lib64${LD_LIBRARY_PATH::${LD_LIBRARY_PATH}}保存退出后执行source ~/.bashrc使配置生效。现在在终端输入nvcc --version你应该能看到CUDA编译器的版本信息这标志着CUDA Toolkit安装成功。4.3 安装cuDNN使用deb包简化管理cuDNN的安装现在变得简单多了。访问 cuDNN Archive登录后需要注册NVIDIA开发者账号选择对应你CUDA版本的cuDNN。例如对于CUDA 11.x选择最新版的“for CUDA 11.x”。在下载页面NVIDIA会提供针对Ubuntu 20.04的deb包安装指令。通常包含三个包运行时库、开发者库和示例代码。复制并执行这些命令即可例如sudo apt install ./cudnn-local-repo-ubuntu2004-8.x.x.x_1.0-1_amd64.deb sudo cp /var/cudnn-local-repo-ubuntu2004-8.x.x.x/cudnn-local-*-keyring.gpg /usr/share/keyrings/ sudo apt update sudo apt install libcudnn88.x.x.x-1cuda11.8 sudo apt install libcudnn8-dev8.x.x.x-1cuda11.8 sudo apt install libcudnn8-samples8.x.x.x-1cuda11.8安装完成后你可以验证一下。最直接的方法是编译并运行cuDNN的示例代码但一个快速的检查是cat /usr/include/cudnn_version.h | grep CUDNN_MAJOR -A 2或者如果你安装了libcudnn8-dev也可以cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2这个命令会输出cuDNN的主版本、次版本和补丁版本号确认安装成功。5. 验证与避坑让你的环境真正跑起来环境装好了但工作还没完。我们需要确保深度学习框架能正确识别并使用这个环境。5.1 创建并验证Python虚拟环境永远不要在系统Python环境里直接安装深度学习框架。使用conda或venv创建一个独立的虚拟环境。这里以conda为例如果你安装了Anaconda或Minicondaconda create -n dl_env python3.9 -y # 创建一个名为dl_envPython版本为3.9的环境 conda activate dl_env # 激活环境激活后你的命令行提示符前会出现(dl_env)。5.2 安装PyTorch并验证CUDA在虚拟环境中根据之前PyTorch官网生成的命令安装PyTorch。例如pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118注意这里的cu118就对应CUDA 11.8。安装完成后启动Python解释器进行验证import torch print(torch.__version__) # 打印PyTorch版本 print(torch.cuda.is_available()) # 输出应为 True print(torch.cuda.get_device_name(0)) # 打印你的显卡型号例如 NVIDIA GeForce RTX 4090 print(torch.cuda.current_device()) # 输出当前使用的GPU索引如果torch.cuda.is_available()返回True并且能正确打印出显卡名称那么恭喜你你的PyTorch已经成功调用了GPU你可以写一个简单的张量运算看看它是否在GPU上执行x torch.rand(5, 3).cuda() print(x.device) # 应该输出 device(typecuda, index0)5.3 安装TensorFlow并验证对于TensorFlow 2.10及以下版本安装命令类似pip install tensorflow-gpu2.10.0验证import tensorflow as tf print(tf.__version__) print(tf.config.list_physical_devices(GPU))如果能看到你的GPU设备列表就说明TensorFlow也配置成功了。5.4 多版本CUDA共存与切换高级技巧有时候不同的项目需要不同的CUDA版本。你可以按照上述方法安装多个CUDA Toolkit比如11.8和12.4安装时注意安装到不同的路径如/usr/local/cuda-11.8和/usr/local/cuda-12.4并且在安装向导中不要创建全局的/usr/local/cuda符号链接。切换版本时不需要重新安装驱动只需要修改~/.bashrc中的环境变量即可。我个人的做法是写一个简单的切换脚本或者使用update-alternatives工具来管理。更简单的方法是在不同的虚拟环境中通过设置LD_LIBRARY_PATH等环境变量来指向特定的CUDA目录。这需要一些额外的配置但对于管理复杂项目环境非常有效。6. 常见问题与实战排雷指南即使按照步骤来也可能会遇到一些“坑”。这里分享几个我亲身遇到过并解决的高频问题。问题一安装驱动后黑屏或循环登录。这通常发生在使用.run文件安装驱动或者在安装过程中对Xorg配置处理不当时。如果遇到可以尝试在系统启动时进入恢复模式Recovery Mode然后在根shell中彻底卸载NVIDIA驱动并重新安装开源驱动nouveau或者改用apt方式安装驱动。更稳妥的方法是在安装驱动前先禁用系统的图形界面进入文本模式sudo systemctl set-default multi-user.target并重启在纯命令行下安装驱动装完后再启用图形界面sudo systemctl set-default graphical.target。问题二nvidia-smi正常但nvcc --version报错“command not found”。这几乎肯定是环境变量PATH没有设置正确。请仔细检查~/.bashrc文件中的export PATH/usr/local/cuda-xx.x/bin:$PATH这一行路径是否正确是否已经执行了source ~/.bashrc。你也可以直接在终端输入echo $PATH看看CUDA的bin目录是否在其中。问题三PyTorch/TensorFlow导入时报libcudnn.so.x找不到。这是cuDNN库路径没有正确加载。首先确认LD_LIBRARY_PATH环境变量包含了CUDA的lib64目录如/usr/local/cuda-11.8/lib64。其次检查cuDNN的文件是否确实被复制到了该目录下。你可以运行find /usr -name libcudnn* 2/dev/null来查找所有cuDNN库文件。有时使用deb包安装的cuDNN会安装到/usr/lib/x86_64-linux-gnu/目录下这时你可能需要手动创建符号链接或者将该路径也加入LD_LIBRARY_PATH。问题四系统更新后驱动失效。Ubuntu的系统更新有时会升级内核导致NVIDIA内核模块与新内核不兼容。症状是nvidia-smi命令失效。解决方法通常是重新安装一次与当前内核匹配的NVIDIA驱动模块。最省事的命令是sudo apt install --reinstall nvidia-driver-535系统会为你当前的内核重新编译并安装驱动模块。环境搭建是个细致活就像拼装一个精密的模型。最忌讳的就是心急不查版本对应关系就胡乱安装。只要你能静下心来按照“需求定版本卸载要干净安装按顺序验证需全面”这个流程来在Ubuntu 20.04上搭建一个稳定可用的深度学习环境其实并没有想象中那么难。我自己的工作站和服务器都是这么配置的跑了几年的训练任务环境一直非常稳定。希望这份结合了无数“踩坑”经验的攻略能帮你一次成功把更多时间花在有趣的模型和算法上而不是和系统环境斗智斗勇。
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2409919.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!