论文信息标题DETRs Beat YOLOs on Real-time Object Detection会议CVPR 2024单位百度、北京大学代码github.com/lyuwenyu/RT-DETR论文https://arxiv.org/pdf/2304.08069.pdf一、前言长久以来实时检测领域一直是YOLO家族的天下但它们都绕不开一个“拖油瓶”——NMS。NMS不仅拖慢速度还严重影响精度稳定性。DETR虽然完美去掉NMS却因为速度太慢、计算太贵从来进不了实时赛道。直到百度提出RT-DETR第一个真正做到实时、端到端、无NMS、精度速度双杀YOLO的Transformer检测器。RT-DETR-R5053.1% AP108 FPSRT-DETR-R10154.3% AP74 FPS不用NMS、不用Anchor、训练更快、部署更稳一句话总结RT-DETR DETR的优雅 YOLO的速度 更高的精度。与之前那些先进的实时物体检测器相比我们的 RT-DETR 实现了最先进的性能。二、核心动机NMS是实时检测的毒瘤YOLO之所以快不上去根本原因就是NMS后处理。NMS的两大原罪速度不稳定框越多越慢耗时不可控精度不稳定阈值敏感调参痛苦不同置信度阈值下保留的框数量。阈值越低框越多NMS越慢。图片分析NMS执行时间完全不可控成为实时检测的巨大瓶颈。表格1来自原文Table 1IoU阈值APNMS耗时(ms)置信度阈值APNMS耗时(ms)0.552.12.240.00152.92.360.652.62.290.0152.41.730.852.82.460.0551.21.06表格分析NMS耗时随阈值剧烈波动精度也跟着跳变工业部署极其不友好。三、RT-DETR总览RT-DETR 的概述。我们将骨干网络的最后三个阶段的特征输入到编码器中。高效的混合编码器通过基于注意力的同尺度特征交互AIFI和基于卷积神经网络的跨尺度特征融合CCFF将多尺度特征转换为一系列图像特征。然后不确定性最小化查询选择会选取固定数量的编码器特征作为解码器的初始对象查询。最后带有辅助预测头的解码器会通过迭代优化对象查询来生成类别和框。结构Backbone →高效混合编码器AIFICCFF→最小不确定性查询选择→ 解码器 → 输出两大革命性创新高效混合编码器把多尺度特征计算量砍半最小不确定性查询选择给解码器送最高质量的查询四、创新1高效混合编码器速度核心DETR编码器一直是计算瓶颈因为多尺度特征序列太长。RT-DETR直接解耦AIFI注意力 intra-scale只在最高层S5做自注意力CCFFCNN cross-scale用轻量CNN做跨尺度融合公式如下QKVFlatten(S5) \mathcal{Q}\mathcal{K}\mathcal{V}Flatten(\mathcal{S}_5)QKVFlatten(S5​)F5Reshape(AIFI(Q,K,V)) \mathcal{F}_5Reshape(AIFI(\mathcal{Q},\mathcal{K},\mathcal{V}))F5​Reshape(AIFI(Q,K,V))OCCFF({S3,S4,F5}) \mathcal{O}CCFF(\{\mathcal{S}_3,\mathcal{S}_4,\mathcal{F}_5\})OCCFF({S3​,S4​,F5​})符号解释S3,S4,S5\mathcal{S}_3,\mathcal{S}_4,\mathcal{S}_5S3​,S4​,S5​Backbone输出的三层特征AIFIAIFIAIFI单尺度注意力交互CCFFCCFFCCFF卷积跨尺度融合Flatten/ReshapeFlatten/ReshapeFlatten/Reshape展平与恢复形状通俗解释只在语义最深的特征上做注意力剩下的融合全部用超快CNN速度直接起飞。CCFF 中的融合模块。图片3CCFF融合块1×1卷积 RepBlock 残差融合极轻量、极高效。五、创新2最小不确定性查询选择精度核心过去的查询选择只看分类分数不管定位准不准。RT-DETR提出分类定位一起评价。不确定性公式U(X^)∥P(X^)−C(X^)∥ \mathcal{U}(\hat{\mathcal{X}})\| \mathcal{P}(\hat{\mathcal{X}})-\mathcal{C}(\hat{\mathcal{X}})\|U(X^)∥P(X^)−C(X^)∥符号解释U\mathcal{U}U不确定性P\mathcal{P}P定位预测分布C\mathcal{C}C分类预测分布X^\hat{\mathcal{X}}X^编码器特征通俗解释只选“分类置信度高且定位IoU高”的特征做查询。所选编码器特征的分类结果及交并比得分。紫色和绿色的点分别代表通过不确定性最小化查询选择训练得到的模型所选出的特征以及通过常规查询选择所选出的特征。图片4查询质量对比紫色RT-DETR大量集中在右上角代表分类准定位准。图片分析最小不确定性策略选出的查询质量远超普通方法。六、创新3不用重训练动态调节速度RT-DETR可以直接删减解码器层来提速精度掉得极少。6层解码器最高精度5层解码器几乎不掉点4层解码器速度更快真正工业级友好一机多速不用重训。七、核心代码PyTorch风格# # RT-DETR 核心高效混合编码器# classHybridEncoder(nn.Module):def__init__(self,in_channels,hidden_dim,num_layers1):super().__init__()# AIFI只对 S5 做注意力self.aifiTransformerEncoderLayer(d_modelhidden_dim,nhead8)# CCFF跨尺度卷积融合self.ccffCCFFModule(in_channels,hidden_dim)defforward(self,feats):# feats: (S3, S4, S5)s3,s4,s5feats# AIFI 只处理 S5s5_flats5.flatten(2).permute(2,0,1)s5_enhancedself.aifi(s5_flat)s5_enhanceds5_enhanced.permute(1,2,0).view_as(s5)# CCFF 跨尺度融合outself.ccff([s3,s4,s5_enhanced])returnout# # 最小不确定性查询选择# classMinUncertaintyQuerySelection(nn.Module):defforward(self,feats,cls_scores,box_preds):# 计算不确定性分类与定位差异uncertaintytorch.abs(cls_scores-box_preds.sigmoid())# 选不确定性最小的 Top-K 特征_,indicesuncertainty.topk(300,dim1,largestFalse)returnfeats.gather(1,indices),box_preds.gather(1,indices)八、实验结果最强表格合集8.1 实时检测器大比拼表格2来自原文Table 2模型BackboneAPFPSYOLOv5-L-49.054YOLOv8-L-52.971RT-DETR-R50R5053.1108RT-DETR-R101R10154.374结论RT-DETR精度、速度、参数全面超越所有YOLO L/X型号。8.2 编码器消融实验表格3来自原文Table 3编码器变种AP延迟(ms)A43.07.2B44.911.1C45.613.3D46.412.2Ds546.87.9ERT-DETR47.99.3结论只对S5做注意力CNN融合速度提升35%精度还涨。8.3 查询选择消融表格4来自原文Table 4查询策略AP高分特征占比普通47.90.35%最小不确定性48.70.82%结论高质量查询直接带来**0.8 AP**。8.4 解码器动态速度调节表格5来自原文Table 5解码器层数AP延迟(ms)6层53.19.35层53.08.84层52.78.32层51.67.5结论从6层减到5层精度几乎不掉速度明显更快。九、全文总结RT-DETR是首个真正实时的端到端Transformer检测器用极简设计解决三大痛点去掉NMS推理稳定、速度可预测高效混合编码器Transformer实时化最小不确定性查询大幅提升精度动态解码器不用重训自由调速最终RT-DETR在速度、精度、部署性上全面超越YOLO正式宣告DETR时代降临实时检测