从零搭建AI开发环境:手把手教你用Anaconda管理多个PyTorch+CUDA版本(Ubuntu 20.04/22.04实测)
从零搭建AI开发环境手把手教你用Anaconda管理多个PyTorchCUDA版本Ubuntu 20.04/22.04实测在深度学习项目开发中不同项目往往需要不同版本的PyTorch和CUDA环境。比如一个项目可能基于PyTorch 1.8和CUDA 10.2开发而另一个新项目则需要PyTorch 2.0和CUDA 11.7的支持。如何在单台机器上高效管理这些环境避免版本冲突是每个AI开发者必须掌握的技能。本文将详细介绍如何利用Anaconda在Ubuntu系统上创建隔离的虚拟环境并在不同环境中安装特定版本的PyTorch和CUDA工具包。我们不仅会覆盖基础安装步骤还会深入探讨环境管理的最佳实践包括如何为不同项目创建专属环境在PyCharm中正确配置虚拟环境解决常见的CUDA版本兼容性问题优化环境切换流程提高开发效率1. 环境准备与Anaconda安装在开始之前请确保你的Ubuntu系统20.04或22.04已经更新到最新状态。打开终端执行以下命令sudo apt update sudo apt upgrade -yAnaconda是Python环境管理的利器它不仅可以创建隔离的环境还能方便地安装不同版本的Python解释器和各种科学计算包。以下是安装步骤访问Anaconda官网下载最新Linux版本在下载目录打开终端运行安装脚本bash Anaconda3-2023.03-Linux-x86_64.sh注意安装过程中会询问是否将conda加入PATH环境变量建议选择yes这样可以在任何终端直接使用conda命令。安装完成后关闭并重新打开终端输入以下命令验证安装conda --version如果看到版本号输出如conda 23.3.1说明安装成功。接下来我们可以开始创建第一个虚拟环境。2. 创建和管理虚拟环境虚拟环境是Python开发的基石它允许你在同一台机器上维护多个完全隔离的Python运行环境。以下是创建环境的基本命令conda create -n pytorch_py39_cuda113 python3.9这个命令创建了一个名为pytorch_py39_cuda113的环境并指定使用Python 3.9。激活环境使用conda activate pytorch_py39_cuda113环境激活后终端提示符前会显示环境名称。要退出当前环境执行conda deactivate对于需要管理多个项目的情况建议为每个项目创建独立的环境。例如环境名称Python版本用途pytorch_py38_cuda1023.8维护旧项目pytorch_py39_cuda1133.9当前主要开发环境pytorch_py310_cuda1173.10测试最新特性查看所有已创建的环境conda env list删除不再需要的环境conda env remove -n 环境名称3. CUDA和cuDNN的安装与配置CUDA是NVIDIA提供的并行计算平台cuDNN则是针对深度神经网络优化的库。正确安装和配置它们对GPU加速至关重要。首先检查系统显卡驱动是否安装nvidia-smi如果命令未找到需要先安装NVIDIA驱动。对于Ubuntu 20.04/22.04推荐使用以下命令sudo ubuntu-drivers autoinstall安装完成后重启系统。确认驱动正常工作后我们可以安装CUDA工具包。通过conda安装特定版本的CUDA是最简单的方式conda install -c nvidia cuda-toolkit11.3对应的cuDNN可以这样安装conda install -c nvidia cudnn8.2.1验证CUDA安装nvcc --version验证cuDNN安装import torch print(torch.backends.cudnn.version())提示conda会自动解决CUDA、cuDNN和其他依赖包的版本兼容性问题比手动安装更可靠。4. PyTorch的安装与验证PyTorch官方提供了conda和pip两种安装方式。我们推荐使用conda因为它能更好地处理依赖关系。访问PyTorch官网获取适合你环境的安装命令。例如安装PyTorch 1.12.1 CUDA 11.3conda install pytorch1.12.1 torchvision0.13.1 torchaudio0.12.1 cudatoolkit11.3 -c pytorch安装完成后验证PyTorch是否能正确识别GPUimport torch print(fPyTorch版本: {torch.__version__}) print(fCUDA可用: {torch.cuda.is_available()}) print(fGPU数量: {torch.cuda.device_count()}) print(f当前GPU: {torch.cuda.current_device()}) print(fGPU名称: {torch.cuda.get_device_name(0)})如果一切正常你应该看到类似以下输出PyTorch版本: 1.12.1 CUDA可用: True GPU数量: 1 当前GPU: 0 GPU名称: NVIDIA GeForce RTX 30805. PyCharm中的环境配置PyCharm是Python开发的强大IDE正确配置虚拟环境可以避免很多问题。以下是配置步骤打开PyCharm进入File Settings Project: your_project Python Interpreter点击齿轮图标选择Add...选择Conda Environment Existing environment导航到你的conda环境路径通常是~/anaconda3/envs/环境名称/bin/python点击OK应用更改注意如果环境列表中没有显示你的conda环境可以尝试点击Show All...手动添加。配置完成后PyCharm会使用指定环境中的Python解释器和所有安装的包。你可以在PyCharm的终端中直接使用conda命令管理环境。6. 多环境切换与项目迁移在实际开发中经常需要在不同环境间切换。conda提供了灵活的环境管理功能。要切换到另一个环境conda activate 另一个环境名称如果你需要将环境迁移到其他机器或与团队成员共享可以使用以下命令导出环境配置conda env export environment.yml然后在其他机器上重建环境conda env create -f environment.yml对于更复杂的项目建议使用Docker容器化技术但这超出了本文的范围。7. 常见问题与解决方案问题1PyTorch安装后无法识别GPU解决方案确认CUDA版本与PyTorch版本兼容检查torch.cuda.is_available()输出重新安装匹配的CUDA工具包问题2conda环境在PyCharm中不可见解决方案确保PyCharm使用的是完整版的conda而不是miniconda在PyCharm设置中手动添加conda可执行文件路径重启PyCharm问题3不同项目需要相同包的不同版本解决方案为每个项目创建独立环境使用conda list检查当前环境安装的包使用conda install 包名版本号安装特定版本8. 高级技巧与环境优化对于追求效率的开发者以下技巧可能有用环境克隆当需要基于现有环境做小修改时可以克隆环境conda create --name 新环境 --clone 原环境快速切换使用conda activate 环境名比完整路径切换更方便清理缓存定期清理不需要的包和缓存conda clean --all环境优先级将常用环境设为默认conda config --set auto_activate_base false conda activate 常用环境GPU监控在训练模型时监控GPU使用情况watch -n 1 nvidia-smi在实际项目开发中我通常会为每个Git分支创建对应的conda环境这样可以在不同特性开发间无缝切换。例如conda create -n feature_branch_name python3.9 conda activate feature_branch_name pip install -r requirements.txt
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2558024.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!