1. RT-DETR简介与环境配置RT-DETR是百度最新推出的实时目标检测模型基于Transformer架构设计在速度和精度上都有不错的表现。相比传统的YOLO系列RT-DETR采用了更先进的注意力机制能够更好地处理复杂场景中的目标检测任务。对于刚接触这个模型的开发者来说第一步就是要搭建好PyTorch训练环境。我最近在本地机器上配置RT-DETR环境时踩过不少坑这里分享下最稳妥的安装方法。官方推荐使用torch2.0.1版本但实测下来torch2.1.0也能完美兼容。建议先到PyTorch官网下载对应CUDA版本的whl文件进行离线安装这样可以避免很多依赖冲突问题。比如我的显卡是RTX 3090CUDA版本是11.8就选择cu118对应的torch版本。安装完PyTorch后还需要安装其他依赖项。这里有个小技巧不要直接运行pip install -r requirements.txt因为这样可能会安装CPU版本的torch。正确的做法是先激活虚拟环境然后手动安装transformers库conda create -n rtdetr python3.8 conda activate rtdetr pip install torch2.0.1cu118 torchvision0.15.2cu118 --index-url https://download.pytorch.org/whl/cu118 pip install -r requirements.txt pip install transformers环境配置完成后建议运行以下命令验证是否安装成功import torch print(torch.__version__) print(torch.cuda.is_available())如果输出正确版本号且CUDA可用说明环境配置成功。这里特别提醒下transformers库的版本最好控制在4.28.1太高或太低的版本都可能导致兼容性问题。2. 数据集准备与格式转换RT-DETR官方使用的是COCO格式的数据集但实际项目中我们经常遇到的是YOLO格式的数据。这就需要将YOLO格式转换为COCO格式。我最近处理过一个柑橘病害检测项目正好需要做这样的转换下面分享具体实现方法。YOLO格式的数据集通常包含images和labels两个文件夹结构如下data/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/转换的核心在于坐标系的转换。YOLO使用的是归一化的中心坐标(x_center,y_center)和宽高(width,height)而COCO需要的是绝对坐标(x_min,y_min,width,height)。我写了个转换函数来处理这个数学转换def convert_yolo_to_coco(x_center, y_center, width, height, img_width, img_height): x_min (x_center - width / 2) * img_width y_min (y_center - height / 2) * img_height width width * img_width height height * img_height return [x_min, y_min, width, height]完整的数据集转换脚本需要考虑更多细节比如类别映射、图像尺寸获取、文件路径处理等。我在实际项目中发现有些YOLO数据集会使用JPG扩展名而标签文件使用txt这点需要特别注意。转换完成后COCO格式的数据集结构应该是这样的coco_data/ ├── annotations/ │ ├── train_coco_format.json │ └── val_coco_format.json ├── train/ └── val/转换过程中最常见的错误是路径问题。建议使用os.path.join来处理路径拼接这样可以避免不同操作系统下的路径分隔符问题。另外JSON文件的缩进建议设置为4这样方便后续调试和查看。3. 配置文件修改与参数调整数据集准备好后接下来需要修改配置文件。RT-DETR的配置文件主要存放在rtdetr_pytorch/configs目录下这里有两个关键文件需要修改数据集配置和模型配置。首先修改coco_detection.yml这个文件定义了数据集的路径和加载方式。需要特别注意train_dataloader和val_dataloader下的img_folder和ann_file路径train_dataloader: dataset: img_folder: /path/to/your/coco_data/train ann_file: /path/to/your/coco_data/annotations/train_coco_format.json val_dataloader: dataset: img_folder: /path/to/your/coco_data/val ann_file: /path/to/your/coco_data/annotations/val_coco_format.json然后是模型配置文件比如rtdetr_r18vd_6x_coco.yml。这里有几个关键参数需要关注batch_size根据你的GPU显存调整RTX 3090可以设置到16num_workers建议设置为CPU核心数的70-80%lr学习率小数据集可以适当降低epochs训练轮数一般100-300轮足够在tools/train.py中需要指定使用的配置文件路径。我习惯使用绝对路径来避免各种路径问题defaultpath/to/rtdetr_pytorch/configs/rtdetr/rtdetr_r18vd_6x_coco.yml训练过程中如果遇到内存不足的问题可以尝试减小batch_size或者降低输入图像的分辨率。我发现在RTX 3090上640x640的分辨率配合batch_size16是比较稳定的配置。4. 训练过程与常见问题启动训练很简单直接运行python tools/train.py即可。但实际训练过程中可能会遇到各种问题这里分享几个我遇到的典型问题及解决方案。第一个常见问题是CUDA out of memory。这通常是因为batch_size设置过大。我的经验是先用小的batch_size(比如4)测试能否正常启动训练确认没问题后再逐步增大。另一个技巧是使用梯度累积这可以在不增加显存占用的情况下模拟更大的batch_size。第二个问题是训练初期loss不下降。这可能是因为学习率设置不当。RT-DETR默认的学习率是针对COCO数据集优化的对于小数据集可能太大。我通常会先使用1e-4的学习率训练几轮观察loss变化后再调整。训练过程中可以使用TensorBoard来监控各项指标tensorboard --logdiroutput在浏览器中打开localhost:6006就能看到训练曲线。重点关注以下几个指标train/loss训练损失应该稳步下降val/mAP验证集精度反映模型真实性能lr学习率变化曲线如果发现验证集精度长时间不提升可能是过拟合了。这时候可以尝试增加数据增强使用更小的模型添加正则化项早停(early stopping)训练完成后模型权重会保存在output目录下。可以使用tools/infer.py进行推理测试。我建议先用几张验证集图片测试效果确认无误后再应用到实际场景中。