本文为 RT-DETR 改进系列纯净发布稿写法采用模块化技术博文形式先讲痛点再讲结构再给配置、训练方式、实验表格和注意事项。全文仅保留技术正文便于直接发布。摘要本文围绕4D 辅助细化展开。该版本属于结构增强方向目标是在 RT-DETR 端到端检测框架中完成可复现、可对照、可训练的结构设计。相比只给模型文件本文更关注为什么这样改、改在什么位置、如何训练、如何做消融以及实验时应该重点观察哪些指标。一、为什么要做这个改进当数据集中存在遮挡、背景干扰或类别相似目标时仅依靠一次融合后的特征直接进入解码器可能出现语义不够稳定的问题。4D 版本在融合后加入辅助细化层让解码前特征再经过一次非线性表达增强。对于目标检测任务来说结构改进不能只看单次训练的 mAP还要看参数量、计算量、显存占用、FPS、收敛速度以及小目标表现。尤其是 RT-DETR 这类端到端检测器解码器输入特征的质量会直接影响最终预测框和类别分数。二、核心思想4D 辅助细化的思路是先完成原有多尺度融合再补充 RepC3 细化层。它并不破坏 RTDETRDecoder 的端到端检测逻辑而是在解码前让融合特征获得额外的局部表达与通道重组能力。可以把这篇文章的核心理解为一句话细化特征稳住精度。对比维度关注内容实验观察点精度mAP50、mAP50-95、召回率是否稳定高于基线速度FPS、单张推理耗时是否适合实时检测复杂度Params、GFLOPs、显存是否增加部署压力稳定性多次训练波动是否容易复现三、网络结构变化主要变化发生在 RT-DETR head/neck 的后段在原融合路径后新增 auxiliary refinement 形式的 RepC3 层再送入 RTDETRDecoder。输入图像 | Backbone 提取 P3/P4/P5 多尺度特征 | Hybrid Encoder / Neck 特征融合 | 4D 辅助细化 | RTDETRDecoder 端到端解码 | 输出预测框、类别和置信度关键位置如下层号位置模块/结构说明3backbone-# This variant ports the corresponding YOLO26 improvement into the RT-DETR neck/backbone while preserving RTDETRDecoder.36head/neckRepC3- [-1, 3, RepC3, [256]] # 16, fpn_blocks.042head/neckRepC3- [-1, 3, RepC3, [256]] # X3 (21), fpn_blocks.143head/neckRepC3- [-1, 1, RepC3, [256]] # auxiliary refinement47head/neckRepC3- [-1, 3, RepC3, [256]] # F4 (24), pan_blocks.051head/neckRepC3- [-1, 3, RepC3, [256]] # F5 (27), pan_blocks.153head/neckRTDETRDecoder- [[21, 24, 27], 1, RTDETRDecoder, [nc]] # Detect(P3, P4, P5)四、YAML 配置片段本文对应配置文件ultralytics/cfg/models/rt-detr/rtdetr-l-4D.yaml。001:002:# Ultralytics RT-DETR-l hybrid object detection model with P3/8 - P5/32 outputs003:# This variant ports the corresponding YOLO26 improvement into the RT-DETR neck/backbone while preserving RTDETRDecoder.004:005:# Parameters...034:-[7,1,Conv,[256,1,1,None,1,1,False]]# 14 input_proj.1035:-[[-2,-1],1,Concat,[1]]036:-[-1,3,RepC3,[256]]# 16, fpn_blocks.0037:-[-1,1,Conv,[256,1,1]]# 17, Y4, lateral_convs.1038:039:-[-1,1,nn.Upsample,[None,2,nearest]]040:-[3,1,Conv,[256,1,1,None,1,1,False]]# 19 input_proj.0041:-[[-2,-1],1,Concat,[1]]# cat backbone P3042:-[-1,3,RepC3,[256]]# X3 (21), fpn_blocks.1043:-[-1,1,RepC3,[256]]# auxiliary refinement044:045:-[-1,1,Conv,[256,3,2]]# 22, downsample_convs.0046:-[[-1,17],1,Concat,[1]]# cat Y4047:-[-1,3,RepC3,[256]]# F4 (24), pan_blocks.0048:049:-[-1,1,Conv,[256,3,2]]# 25, downsample_convs.1050:-[[-1,12],1,Concat,[1]]# cat Y5051:-[-1,3,RepC3,[256]]# F5 (27), pan_blocks.1052:053:-[[21,24,27],1,RTDETRDecoder,[nc]]# Detect(P3, P4, P5)与基线配置的差异摘录如下--- rtdetr-l.yaml current.yaml -8,7 8,7 -# RT-DETR-l backbone (base) # RT-DETR-l backbone (4D) -40,6 40,7 - [-1, 1, RepC3, [256]] # auxiliary refinement五、训练方式Python 训练入口如下fromultralyticsimportRTDETR modelRTDETR(ultralytics/cfg/models/rt-detr/rtdetr-l-4D.yaml)resultsmodel.train(datacoco128.yaml,epochs1000,imgsz640,optimizerMuSGD,)命令行训练方式如下yolo detect trainmodelultralytics/cfg/models/rt-detr/rtdetr-l-4D.yamldatacoco128.yamlepochs1000imgsz640optimizerMuSGD如果训练自己的数据集只需要把datacoco128.yaml改成自己的数据集配置文件即可。六、实验记录模板模型配置文件ParamsGFLOPsmAP50mAP50-95FPS备注RT-DETR-lrtdetr-l.yaml待测待测待测待测待测基线RT-DETR 4D 辅助细化rtdetr-l-4D.yaml待测待测待测待测待测本文改进建议再补充一张小目标统计表模型AP-smallAP-mediumAP-largeRecall误检变化基线待测待测待测待测待分析改进待测待测待测待测待分析七、消融实验建议编号实验设置目的A0原始rtdetr-l.yaml建立统一对照A1rtdetr-l-4D.yaml验证单模块收益A2相同配置增加训练轮次判断是否只是收敛速度变化A3更换输入尺寸观察小目标和速度变化A4导出部署模型检查推理端真实速度八、注意事项不建议一次叠加多个模块否则无法判断收益来自哪里。训练前先确认模型能正常构建和前向传播。实验记录必须固定数据集划分、输入尺寸、训练轮次和增强策略。如果出现通道不匹配优先检查 YAML 中 RTDETRDecoder 的输入层索引。如果 FPS 没有提升需要进一步检查导出格式、推理后端和 batch 设置。九、总结4D 辅助细化是 RT-DETR 改进系列中的第 3 篇。本文围绕结构增强展开重点不是堆砌模块名称而是把改进动机、结构位置、训练入口和消融方式讲清楚。后续只要保持同一套实验条件就可以把该版本与更多模块进行公平对照。关键词RT-DETR,特征增强,目标检测,计算机视觉