1. Jetson Orin NX与YOLOv5的黄金组合如果你正在寻找一款能在边缘设备上高效运行目标检测的解决方案Jetson Orin NX搭配YOLOv5绝对是当前最热门的选择之一。作为NVIDIA最新推出的边缘计算平台Jetson Orin NX凭借其强大的AI算力和能效比已经成为智能摄像头、工业质检、自动驾驶等场景的首选硬件。而YOLOv5作为目标检测领域的当红炸子鸡以其轻量级、高精度和易部署的特性完美契合边缘计算的需求。我在实际项目中多次使用这套组合最大的感受就是部署简单、运行稳定、效果惊艳。相比其他硬件平台Jetson Orin NX原生支持CUDA和TensorRT这让YOLOv5的推理速度可以轻松达到实时级别。举个例子在1080P视频流上运行YOLOv5s模型帧率可以稳定在30FPS以上这对于大多数应用场景已经绰绰有余。2. 系统环境准备2.1 JetPack SDK安装JetPack是Jetson系列设备的灵魂它包含了完整的操作系统、CUDA、cuDNN、TensorRT等核心组件。我强烈建议使用最新版本的JetPack因为它通常会有更好的性能优化和兼容性支持。安装过程其实非常简单但有几个关键点需要注意sudo apt-get update sudo apt-get dist-upgrade -y sudo apt-get install nvidia-jetpack -y这三条命令看起来简单但实际执行时可能会遇到网络问题。由于NVIDIA的服务器在国外下载速度有时会很慢。我的经验是早上执行安装通常速度更快如果遇到卡顿可以尝试多次执行。安装完成后一定要重启设备让所有组件生效。2.2 系统监控工具jtop部署AI模型时实时监控系统状态非常重要。jtop是我在Jetson设备上必装的工具它能直观显示CPU/GPU负载、内存使用、温度等信息。安装命令如下sudo apt install python3-pip -y sudo -H pip3 install -U jetson-stats sudo reboot重启后在终端输入jtop就能看到丰富的系统信息。特别提醒关注GPU温度长时间高负载运行时温度过高会导致性能下降。我在一个工业质检项目中就遇到过这个问题后来通过增加散热片解决了。3. 深度学习环境搭建3.1 PyTorch for Jetson安装PyTorch是YOLOv5的基础框架但在ARM架构的Jetson设备上安装需要特别注意版本兼容性。NVIDIA提供了专门为Jetson优化的PyTorch版本千万不要直接从PyPI安装通用版本。以PyTorch 1.12为例安装步骤如下sudo apt-get install -y libopenblas-base libopenmpi-dev wget https://nvidia.box.com/shared/static/ssf2v7pf5i245fk4i0q926hy4imzs2ph.whl -O torch-1.12.0a02c916ef.nv22.3-cp38-cp38-linux_aarch64.whl pip3 install torch-1.12.0a02c916ef.nv22.3-cp38-cp38-linux_aarch64.whl安装完成后务必验证CUDA是否可用import torch print(torch.__version__) print(torch.cuda.is_available())如果输出True说明安装成功。我在第一次安装时犯了个错误没有检查CUDA可用性结果后面运行YOLOv5时各种报错浪费了半天时间排查。3.2 Torchvision编译安装Torchvision需要与PyTorch版本严格匹配。以PyTorch 1.12对应的torchvision 0.13为例sudo apt-get install libjpeg-dev zlib1g-dev libpython3-dev libavcodec-dev libavformat-dev libswscale-dev -y git clone --branch v0.13.0 https://github.com/pytorch/vision torchvision cd torchvision export BUILD_VERSION0.13.0 python3 setup.py install --user编译过程可能会比较久在我的Jetson Orin NX上大约需要15-20分钟。建议在编译时关闭其他应用以加快速度。完成后同样要验证版本import torchvision print(torchvision.__version__)4. YOLOv5环境配置4.1 源码获取与准备YOLOv5的GitHub仓库更新非常频繁我推荐使用v7.0这个相对稳定的版本git clone -b v7.0 https://github.com/ultralytics/yolov5 cd yolov5这里有个重要技巧修改requirements.txt。原文件中有几个包在Jetson上不需要安装或者可能引起冲突。用文本编辑器打开requirements.txt注释掉以下行# matplotlib3.2.2 # opencv-python4.1.2 # PyYAML5.3.1因为这些包要么系统已经自带要么可能与其他组件冲突。这是我踩过的一个坑直接安装原版requirements会导致环境混乱。4.2 依赖安装与验证安装精简后的依赖python3 -m pip install --upgrade pip pip3 install -r requirements.txt这个过程也需要一些时间可以泡杯咖啡等待。安装完成后运行快速测试python detect.py --source data/images --weights yolov5s.pt --view-img如果一切正常你会在终端看到检测结果图片会保存在runs/detect/exp目录。第一次运行时模型会自动下载如果网络不好可以手动下载权重文件放到对应位置。5. 性能优化技巧5.1 TensorRT加速原生的PyTorch模型在Jetson上运行已经不错但通过TensorRT加速可以获得2-3倍的性能提升。YOLOv5官方提供了export.py脚本可以将模型转换为TensorRT格式python export.py --weights yolov5s.pt --include engine --device 0转换后的.engine文件可以直接用于推理显著提升速度。我在一个智能交通项目中通过TensorRT将推理时间从15ms降到了6ms效果非常明显。5.2 模型量化对于资源受限的边缘设备模型量化是另一个有效的优化手段。YOLOv5支持FP16和INT8量化python export.py --weights yolov5s.pt --include engine --device 0 --half使用FP16量化几乎不会损失精度但能减少显存占用并提升速度。INT8量化需要校准数据适合对精度要求不高的场景。6. 常见问题排查在部署过程中我遇到过各种奇怪的问题这里分享几个典型的CUDA内存不足这是最常见的问题尤其是运行较大模型时。解决方案包括使用更小的模型如yolov5s减小推理时的图像尺寸--imgsz参数启用FP16或INT8量化OpenCV冲突系统自带的OpenCV可能与requirements.txt中的版本冲突。我的建议是优先使用系统自带的OpenCV如果必须安装特定版本先卸载系统版本但要谨慎模型加载失败有时下载的权重文件可能损坏。解决方法手动下载权重并检查MD5值使用官方提供的预训练模型7. 实际应用建议根据我的项目经验给想要在Jetson Orin NX上部署YOLOv5的开发者几个实用建议从简单开始先用yolov5s这种小模型验证流程成功后再尝试更大的模型监控系统资源使用jtop实时观察资源使用情况避免过热或内存不足做好散热长时间运行高负载任务时考虑增加主动散热版本控制记录所有软件版本方便后续维护和复现这套环境我已经在多个实际项目中验证过包括智能零售、工业质检和智慧农业等场景。只要按照上述步骤操作基本上都能顺利跑通。遇到问题时不妨回到基础环境检查往往能事半功倍。