这篇题为《Inner-IoU: More Effective Intersection over Union Loss with Auxiliary Bounding Box》的论文主要研究了目标检测中边界框回归BBR损失函数的改进问题。以下是其核心研究内容的全面总结概括1. 研究背景与问题现有方法的局限性目前主流的边界框回归损失函数如GIoU、DIoU、CIoU、EIoU、SIoU等大多通过在IoU损失基础上添加新的几何约束项如距离、形状、角度来提升性能。核心痛点作者指出这些方法虽然有效但忽略了IoU损失项本身的局限性。原始的IoU损失在面对不同检测任务和数据集时无法自适应调整导致其泛化能力较弱。2. 核心创新点Inner-IoU为了解决上述问题作者提出了Inner-IoU 损失。其核心思想并非增加新的损失项而是通过引入辅助边界框来计算损失从而加速回归并提高泛化能力。核心机制引入缩放因子 Ratio通过一个尺度因子 ratio 控制生成不同大小的辅助边界框。自适应回归策略对于高IoU样本回归较好的样本使用较小的辅助边界框计算损失。这样虽然有效回归范围变小但梯度绝对值更大从而加速收敛。对于低IoU样本回归较差的样本使用较大的辅助边界框计算损失从而扩大有效回归范围帮助边界框更好地回归。3. 方法论与实现原理Inner-IoU 通过计算辅助边界框基于原始框缩放 ratio 得到之间的IoU来代替原始框之间的IoU。通用性Inner-IoU并不是一个独立的损失函数而是一个插件。它可以非常方便地集成到现有的基于IoU的损失函数中如 GIoU、DIoU、CIoU、EIoU、SIoU形成 Inner-GIoU、Inner-CIoU 等变体只需在原有损失函数基础上增加一项即可。公式表达例如。4. 实验验证作者通过仿真实验和真实数据集对比实验验证了方法的有效性仿真实验验证了不同尺度的辅助框在高低IoU样本下的梯度变化规律证明了大框利于低IoU样本、小框利于高IoU样本的结论。数据集实验在PASCAL VOC数据集上使用YOLOv7-tiny将 Inner-CIoU 和 Inner-SIoU 与原版对比AP50 和 mAP5095 均提升了0.6% 到 1.21%不等。在AI-TOD小目标数据集上使用YOLOv5s将 Inner-SIoUratio1与原版对比AP50 提升了1.07%。可视化结果论文中的检测示例图显示使用 Inner-IoU 后目标定位更精准误检和漏检情况减少。5. 主要结论简单有效Inner-IoU 原理简单仅通过调整辅助框的尺度就能显著提升回归效果。强泛化能力通过调整 ratio 值该方法能够适应不同的数据集包括常规数据集和极小目标数据集弥补了传统 IoU 泛化能力弱的缺陷。易于集成可以作为即插即用的模块直接增强现有损失函数的性能。本文提出了一种名为 Inner-IoU 的边界框回归损失改进方法通过引入尺度因子控制辅助框大小来动态计算损失小框加速高IoU样本大框助力低IoU样本在不增加额外几何约束的情况下有效提升了检测器的精度、收敛速度和泛化能力。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示摘要随着检测器的快速发展边界框回归Bounding Box Regression, BBR损失函数不断更新和优化。然而现有的基于IoU的BBR方法仍然侧重于通过添加新的损失项来加速收敛忽略了IoU损失项本身的局限性。尽管理论上IoU损失可以有效地描述边界框回归的状态但在实际应用中它无法根据不同的检测器和检测任务进行自我调整泛化能力不强。基于上述问题我们首先分析了BBR模型并得出结论区分不同的回归样本并使用不同尺度的辅助边界框来计算损失可以有效加速边界框回归过程。对于高IoU样本使用较小的辅助边界框计算损失可以加速收敛而较大的辅助边界框适用于低IoU样本。然后我们提出了Inner-IoU损失通过辅助边界框计算IoU损失。针对不同的数据集和检测器我们引入了一个缩放因子比率ratio来控制用于计算损失的辅助边界框的尺度大小。最后将Inner-IoU集成到现有的基于IoU的损失函数中进行仿真和对比实验。实验结果表明使用本文提出的方法检测性能得到进一步提升验证了Inner-IoU损失的有效性和泛化能力。索引术语-原理简单易于使用泛化性强。I. 引言目标检测是计算机视觉中的一项基础任务它包括目标分类和定位。边界框回归损失函数是检测器定位分支的重要组成部分检测器的定位精度在很大程度上依赖于边界框回归这在当前的检测器中扮演着不可替代的角色。在BBR中IoU损失 [1] 能够准确描述预测边界框与GT框之间的匹配程度确保模型在训练过程中能够学习到目标的位置信息。作为现有主流边界框回归损失函数的重要组成部分IoU的定义如下II. 相关工作A. 目标检测对于目标检测根据是否生成锚点anchor可以将其分为基于锚点的检测算法和无锚点检测算法。基于锚点的算法包括Faster R-CNN [14]、YOLO系列 [10]- [13]、SSD [15] 和RetinaNet [16]。无锚点检测算法包括CornerNet [17]、CenterNet [18] 和FCOS [19]。在这些目标检测算法中边界框回归损失函数起着至关重要的作用它使检测器能够准确定位目标并提高检测算法的检测精度。B. 边界框回归损失最初ln​ - 范数损失 [14] 被提出用作边界框回归损失但它对边界框尺度的变化非常敏感。随后为了弥补这一缺陷IoU损失 [1] 被提出以取代 ln​ - 范数损失。与 ln​ - 范数损失相比IoU损失 [1] 预测框的回归结果更为准确。然而IoU损失无法解决非重叠样本的梯度消失问题GIoU损失 [2] 通过引入最小边界框来弥补这一缺陷。DIoU损失 [3] 增加了距离约束将预测框与GT框中心点之间的归一化距离作为新的损失项添加到IoU损失中从而提高了收敛速度和定位精度。CIoU损失 [3] 进一步考虑了形状相似性对边界框回归的影响在DIoU损失的基础上增加了一个形状损失项。EIoU损失 [4] 使用Focal Loss来解决训练过程中的样本不平衡问题并重新定义了形状损失进一步提升了检测效果。最新的SIoU [5] 损失将预测框与GT框之间的角度作为新的约束项添加到边界框回归损失中实现了最快的收敛结果。与上述算法相比我们提出的Inner-IoU损失可以进一步提高收敛速度。III. 方法A. 边界框回归模式分析IoU损失函数在计算机视觉任务中有着广泛的应用。在边界框回归过程中它不仅能够评估回归状态还可以通过计算回归损失来进行梯度传播从而加速收敛。在此我们讨论边界框回归过程中IoU变化与边界框尺寸之间的关系 [8]分析边界框回归问题的固有特性并解释本文提出方法的合理性。如图3所示图3a展示了IoU偏差曲线横轴和纵轴分别代表偏差和IoU值。三条不同颜色的曲线对应不同尺度边界框的IoU变化曲线。A、B、C、D、E对应锚框与GT框的5种不同位置关系其中红色边界框表示长宽为10的锚框相应的GT框用黑色边界框表示。图3b展示了ABS(Grad)偏差曲线。与图3a不同图3b的纵轴表示IoU梯度的绝对值。我们假设实际边界框尺寸为10将尺寸为8和12的边界框作为辅助边界框。在图3中A和E对应低IoU样本的回归状态而B和D对应高IoU样本的回归状态。从图3可以得出以下结论由于辅助边界框与实际边界框之间存在尺度差异回归过程中IoU值的变化趋势与实际边界框的IoU值变化趋势一致能够反映实际边界框回归结果的质量。对于高IoU样本较小尺度辅助边界框的IoU梯度绝对值大于实际边界框的IoU梯度绝对值。对于低IoU样本较大尺度辅助边界框的IoU梯度绝对值大于实际边界框的IoU梯度绝对值。基于以上分析使用较小尺度的辅助边界框计算IoU损失将有助于高IoU样本的回归并实现加速收敛。相反使用较大尺度的辅助边界框计算IoU损失可以加速低IoU样本的回归过程。图 3: 不同尺度边界框的回归变化曲线 (a) IoU-偏差曲线 (b) ABS(Grad)-偏差曲线图 4: 使用YOLOv5s在AI-TOD测试集上的检测示例分别为 \(L_{SIoU}\) 第一行和 \(L_{Inner - SIoU}\) 第二行。图 5: 蓝点表示锚框绿色边界框表示不同尺寸的目标框 (a) 高IoU回归样本 (b) 低IoU回归样本B. Inner-IoU损失为了弥补现有IoU损失 [1]- [5] 在不同检测任务中泛化能力弱、收敛速度慢的问题我们提出使用辅助边界框来计算损失并加速边界框回归过程。在Inner-IoU中我们引入了缩放因子比率ratio它可以控制辅助边界框的尺度大小。通过针对不同的数据集和检测器使用不同尺度的辅助边界框可以克服现有方法泛化能力弱的局限性。Inner-IoU损失继承了IoU损失的部分特性同时也具有自身的特点。Inner-IoU损失的值域与IoU损失一样都是[0,1]。由于辅助边界框与实际边界框仅在尺度上存在差异损失函数的计算方法相同因此Inner-IoU偏差曲线类似于IoU偏差曲线。IV. 实验A. 仿真实验如图5所示本文通过仿真实验分析了两种不同场景下的边界框回归过程。在图5a和图5b中设置了七个不同的绿色边界框作为目标框目标框的中心点设置为(100,100)宽高比分别为1:4、1:3、1:2、1:1、2:1、3:1和4:1。在图5a中锚框随机分配了2000个点其位置分布以(100,100)为中心半径为3。对于每个点的尺度锚框的面积设置为0.5、0.67、0.75、1、1.33、1.5和2。对于给定的点和尺度采用了7种宽高比即与目标框的设置相同即1:4、1:3、1:2、1:1、2:1、3:1和4:1。图5b与图5a的不同之处在于锚框的分布其位置分布以(100,100)为中心半径为6到9。尺寸和宽高比与图5a相同。总体而言在每个实验中每个目标框应拟合 2000×7×7 个锚框。总而言之总共有 6860007×7×7×2000 种回归情况。仿真实验的结果如图7所示其中图7a展示了高IoU回归样本场景下的收敛结果。为了加速高IoU样本的回归缩放因子比率ratio设置为0.8。低IoU回归样本场景下的收敛结果如图7b所示比率设置为1.2。可以看出图中用虚线表示的我们方法的收敛速度优于现有方法。图 6: 使用YOLOv7-tiny在PASCAL VOC 2007测试集上的检测示例分别采用 \(L_{SIoU}\) 和 \(L_{Inner - SIoU}\) 。从左到右依次为SIoU方法、Inner-SIoU (ratio0.7)、Inner-SIoU (ratio0.75) 和 Inner-SIoU (ratio0.8)。图 7: 迭代过程中Inner-IoU方法与几种现有方法的回归误差对比。(a) 高IoU样本结果(ratio0.8) (b) 低IoU样本结果(ratio1.2)图 8: CIoU和SIoU损失在不同比率下的性能表现。图8e和图8f分别是SIoU和Inner-SIoU在比率为0.7、0.75和0.8时的训练过程曲线。在图8中橙色曲线代表本文提出的方法现有方法用绿色曲线表示。可以清晰地看到本文提出的方法在50到150个epoch的训练过程中优于现有方法。测试集上对比实验的结果如表I所示。可以看出应用本文方法后检测效果得到了提升AP50和mAP50:95均提高了0.5%以上。图2和图6展示了检测样本的对比。从图中可以看出与现有方法相比本文提出的方法定位更准确误检和漏检更少。B. 对比实验YOLOv7在PASCAL VOC上的实验实验比较了CIoU [3] 方法和SIoU [5] 方法使用YOLOv7-tiny [13] 作为检测器VOC2007 trainval和VOC2012 trainval作为训练集VOC2007 test作为测试集 [20]。训练集包含16551张图像测试集包含4952张图像共20个类别。我们在训练集上训练了150个epoch以证明我们方法的优越性。我们将所提方法和原始方法的训练过程可视化如图8所示。图8a、图8b和图8c展示了CIoU和Inner-CIoU的训练过程曲线对应的比率分别为0.7、0.75和0.8。图8d、表 I: CIoU和SIoU损失的性能表现比率在0.7到0.8之间方法AP50mAP50:95CIoU63.6037.64Inner-CIoU(ratio0.70)64.44 (0.84)38.38 (0.74)Inner-CIoU(ratio0.75)64.20 (0.60)38.25 (0.61)Inner-CIoU(ratio0.80)64.33 (0.73)38.30 (0.66)SIoU63.3837.31Inner-SIoU(ratio0.70)63.98 (0.60)38.06 (0.75)Inner-SIoU(ratio0.75)64.36 (0.98)38.52 (1.21)Inner-SIoU(ratio0.80)64.01 (0.63)37.98 (0.67)YOLOv5在AI-TOD上的实验为了展示所提方法的泛化能力我们在AI-TOD数据集 [21] 上使用YOLOv5s检测器进行了对比实验并以SIoU [5] 作为比较方法。AI-TOD包括28036张航拍图像、8类目标和700621个目标实例其中14018张图像作为训练集另外14018张图像作为测试集。与现有的目标检测任务数据集相比AI-TOD目标的平均尺寸为12.8像素远小于其他数据集。实验结果如表II所示。表 II: SIoU损失的性能表现比率1方法AP50mAP50:95SIoU42.7018.06Inner-SIoU(ratio1.10)43.42 (0.72)17.89 (-0.17)Inner-SIoU(ratio1.13)43.37 (0.67)18.23 (0.17)Inner-SIoU(ratio1.15)43.77 (1.07)18.23 (0.17)在对比实验1中通过将比率值设置在0.7到0.8之间小于1生成了比实际边界框小的辅助边界框。实验结果表明它可以在高IoU样本上产生增益。在实验2中当比率值大于1时通过生成更大的辅助边界框达到了加速低IoU样本收敛的效果。此外图4展示了测试集上检测结果的对比通过比较可以看出本方法的优越性。V. 结论在本文中我们分析了边界框回归过程并指出了IoU损失的局限性即它对不同的检测任务不具备很强的泛化能力。基于边界框回归问题的固有特性我们提出了一种基于辅助边界框的边界框回归损失——Inner-IoU损失。它通过缩放因子比率控制生成不同尺度的辅助边界框来计算损失并加速收敛。它可以集成到现有的基于IoU的损失函数中。通过一系列的仿真和消融实验验证了所提方法优于现有方法。需要注意的是本文提出的方法不仅适用于一般检测任务对于极小目标的检测任务也表现良好该方法的泛化能力得到了证实。