在近期深入准备研究生复试及毕业设计的过程中我对目标检测中的多尺度特征融合技术进行了系统性梳理。本文详细拆解了FPNFeature Pyramid Networks的核心架构并进一步探讨了其改进版本EFPN的设计思路与实现细节。希望通过这篇笔记记录自己的学习路径也为同样关注该方向的同学提供参考。。1.FPNFPN出自于 Feature Pyramid Networks for Object Detection。其主要任务是解决目标检测在处理多尺度变化问题时的不足以上是原论文中给出的四种对比结构图已有。aFeaturized imagepyramid将一张图缩放到不同的尺度从而形成了一个特征金字塔然后对于不同尺度的图片分别进行特征的提取以及分别进行检测。优点图片进行缩放损失的内容比较少从而降低了高级语义信息和低级特征的损失。缺点每个尺寸等级都得分别进行检测特征提取所以推理时间增加且内存占用较高。bSingle feature map一张图片经过卷积网络会生成很多张图经过pooling池化和采样获得尺寸不同的图片形成金字塔然后在网络的最后一层进行检测。优点卷积网络对于尺度变化比较具有鲁棒性并且只在最后一层检测速度相对较快。缺点并没有使用构建金字塔。cPyramidal feature hierarchy利用卷积网络固有的金字塔层次在不同层上分别检测。优点使用了卷积网络固有的金字塔层次。缺点图片经过一系列的卷积语义信息会逐渐增强一些低级信息就会逐渐损失导致网络深层高级信息比较多底层信息比较少而浅层低级信息比较多高级信息比较少从而使得在不同层检测会出现差异。dFeature Pyramid Network使用skip connection将高级语义特征和低级语义特征融合起来构建了一个自顶向下的路径然后在最后一层进行检测。优点无需构建耗时的图像金字塔单图输入实现了多尺度特征融合在每一个层级 P3∼P7P3∼P7 都进行预测兼顾了小目标和大目标的检测。 缺点自顶向下的路径中深层的高级语义信息在经过多次上采样和融合后传递到最底层时可能会有所减弱这也是后来 PANet 引入自底向上增强路径的原因。FPN使用skip connection将低级语义信息和高级语义信息融合起来构建一个自顶向下的路径最终在多层级进行检测。特点高级语义信息在路径融合过程中会逐渐稀释采取顺序形式的方法使得集成特征更多的是关注相邻层而不是关注其它层从而导致非相邻层语义会被稀释。FPN算法输入单张图片输出多张尺寸不同的特征图自底向上把路径分为多个阶段每个阶段划分为一个特征等级而每个阶段里面输出特征图尺寸相同取其中最后一层的输出作为该阶段输出每个阶段最深层特征最强相邻层下采样比例为2特征图的空间尺寸在相邻两个层级之间缩小为原来的1/2。自上往下高级语义信息有助于识别目标但有害于定位目标低级语义信息有益于定位目标但不易于识别目标而通过skip connection来构建自上往下的路径将高层的强语义信息融合到底层的高分辨率特征当中。初始化顶层上采样横向连接元素级相加skip connection把自上往下路径的分辨率特征上采样比例为2使用1×1卷积减少来自自底向上路径的特征图的通道数将以上得到的2个特征图进行element-wise addition。图解结构核心思想是否需多尺度输入检测层级主要缺陷(a) Image Pyramid图片缩放 - 分别提取 - 分别检测是 (慢显存大)各层独立推理速度慢计算冗余(b) Single Map单图提取 - 仅最后一层检测否仅顶层小目标检测效果差 (丢失细节)(c) Feature Hierarchy单图提取 - 各层分别检测否各层独立底层缺乏语义信息 (难以识别小物体类别)(d) FPN自顶向下融合 横向连接否 (单图即可)各层融合后深层语义传到底层可能有损耗 (后续由 PANet 解决)2.EFPN1.传统FPN上采样缺陷在原始的FPN当中自顶向下路径融合的过程中使用的是双线性差值Bilinear Interpolation将高层特征图放大。但是插值算法是固定的数学公式是基于周围像素的加权平均网络是无法通过训练来优化这个过程的同时插值会导致高频信息丢失边缘变得模糊这对于需要精确定位的目标检测尤其是小目标是不利的同时简单的插值可能无法完美的对其深层语义特征和浅层细节特征的的空间分布。2.EFPN核心改进可学习上采样Learnable UpsamplingEFPN通常引入反卷积 (Deconvolution / ConvTranspose2d) 或 亚像素卷积 (PixelShuffle) 来替代双线性插值。在这种情况下上采样的滤波器是通过反向传播学习得到的网络可以学会更好的恢复细节而不是简单的平均像素同时可以更好的保持特征的边缘锐度减少模糊且能够根据当前的任务自适应地调整采样策略。3.算法原理深度解析A.双线性差值Baseline利用输入特征图中相邻的2×2个像素点的距离加权平均来计算出像素值其数学本质是低通滤波平滑了信号。B反卷积/转置卷积在输入特征图的像素之间插入零Zero Padding/Expansion使用一个可学习的卷积核进行常规卷积Kernel代码如下kernel [[[-0.1, -0.1, -0.1],[-0.1, 1.5, -0.1],[-0.1, -0.1, -0.1]]]中心权重1.5很大周围是负值-0.1这实际上是一个锐化滤波器Sharpening Filter的雏形在训练过程中这个kernel会演变成最适合恢复该层级特征的形态可能包含边缘增强、纹理恢复等模式。4.EFPN 的整体架构优势如果将这种“可学习上采样”应用到完整的 FPN 架构中就构成了 EFPN 的主要优势1.更精准的特征融合传统 FPN: PiUpsample(Pi1)CiPiUpsample(Pi1)Ci(Upsample 是固定的)EFPN: PiDeconv(Pi1)CiPiDeconv(Pi1)Ci(Deconv 是可学习的)结果融合后的特征图 PiPi既保留了 CiCi的高分辨率细节又通过可学习的方式更完美地注入了 Pi1Pi1 的强语义信息减少了“混叠效应”。2.小目标检测性能提升小目标依赖底层高分辨率特征。如果上采样过程模糊了高层传下来的语义信息小目标的分类置信度会下降。EFPN 的锐利上采样有助于在低层特征图中保留更清晰的语义线索显著提升 Small Object AP ( APSAPS)。3.端到端优化整个上采样过程成为网络的一部分参与梯度反向传播。损失函数Loss可以直接指导上采样层如何更好地重建特征以最小化检测误差。5.潜在的挑战与权衡虽然代码展示了 Deconv 的“Sharp”优点但在实际工程应用 EFPN 时也需注意A.棋盘格效应 (Checkerboard Artifacts)转置卷积有时会在输出特征图上产生网格状的伪影因为卷积核重叠不均匀。解决方案通常建议在 Deconv 之后接一个普通的 3×33×3 卷积层如原始 FPN 做的那样来平滑这些伪影或者使用 PixelShuffle (Sub-pixel Convolution) 作为替代方案它通常能产生更平滑的结果。B.计算量增加双线性插值几乎不增加参数量和计算量。反卷积引入了额外的权重参数和乘加运算MACs。对于移动端或实时性要求极高的场景需要评估这个精度提升是否值得付出的速度代价。结果测试