文章目录创新点贡献摘要及引言预备知识方法总体结构动态移窗模块DSW单一目标多目标扩展背景重建模块BR探测头实验DSW 的精确性消融研究与其他方法的比较定性表现结论arxiv | 2023 | DBR-MAE论文https://arxiv.org/abs/2505.06855代码无期刊arXiv时间2023创新点本文提出了一种基于背景重建的 ISTD 方法称为动态背景重建DBR。 DBR 由三个模块组成动态移位窗口模块DSW、背景重建模块BR和检测头DHBR利用视觉变换器重建缺失区域并采用50%掩码率的网格掩码策略来重建无目标的干净背景DSW 根据红外图像动态位移计算偏移量为减少因将重建误差误判为目标而产生的假阳性FP案例DH采用密集连接变换器结构进一步提升检测性能贡献DBR 是一种基于背景重建的ISTD方法可在复杂背景条件下提升检测性能。我们提出一种基于视觉TransformerMAE的背景重建方法用于重建无目标的干净背景DBR 可防止变换器将目标分割为两个相邻区域这对背景重建有害。我们提出一种DSW来计算偏移量基于该偏移量背景重建BR在输入嵌入前动态调整图像DBR 对重构误差具有鲁棒性。我们提出了一种DH和一种WDLoss分别从网络架构和损失函数的角度减轻重构误差对检测性能的影响摘要及引言由于大气散射与折射、光学离焦以及各类噪声的影响红外图像具有较低的信噪比、和与背景的低对比度 这些因素会降低 ISTD 方法的性能由于目标尺寸极小且信噪比低 ISTD 中的目标缺乏轮廓、形状、纹理等细节信息而可见光目标检测方法正是依赖这些特征 。因此大多数ISTD 方法着重于目标与背景之间的差异受MAE 启发本文团队提出了一种背景重建方法NBR采用网格掩码策略以50%的掩码率对同一图像进行两次重建。两个掩码块共同构成一个“互斥且集体耗尽”MECE的图像。其原理在于当以50%的掩码率进行两次重建时目标被掩码的概率为100%因此NBR能够重建出无目标的干净背景图1NBR的结构图展示了两次50%⽹格掩码的互补过程MECE然而当目标被分割为两个相邻块时其中一半目标将基于另一半目标进行重建导致背景重建失败。此外当目标尺寸为9 × 9时将一个目标分割为两个块的概率高达81%图2左将同一靶标分割为两个斑块会导致重建失败。右在不同靶标尺寸下将同一靶标分割为两个斑块的概率基于上述分析本文提出了一种基于背景重建的ISTD方法——动态背景重建DBR预备知识ISTD红外⼩⽬标检测SNR信噪⽐图像中⽬标信号和噪声的⽐值值越低图像越模糊⽬标越难分辨背景重建从含⽬标的红外图像中通过算法⽣成⼀张没有⽬标、只有背景的“⼲净图像”是本⽂的核⼼技术思路MECE原则互斥且集体耗尽论⽂中指数次掩码的区域彼此不重叠且合起来覆盖整张图像DSW动态移位窗⼝模块本⽂提出的模块解决“⽬标被分割到两个图像块”的问题BR背景重建模块本⽂核⼼模块基于MAE重建⼲净背景DH检测头本⽂提出的模块过滤重建误差带来的噪声输出最终检测结果加权Dice损失WDLoss本⽂提出的损失函数⽤来平衡检测的精确率和召回率解决“召回率⾼、精确率低”的问题精确率检测出的“⽬标”⾥真⽬标的⽐例越⾼说明假阳性越少召回率所有真⽬标⾥被成功检测出的⽐例越⾼说明漏检越少FLOPs浮点运算次数衡量模型的计算量值越⼤计算越复杂FPS每秒帧数衡量模型的检测速度值越⼤检测越快密集连接Transformer本⽂DH模块⽤的⽹络结构把每⼀层的特征拼接起来保留更多信息减少计算量方法总体结构图3DBR的架构展示DBR的整体⼯作流程原始红外图像输⼊→DSW模块计算偏移量并移位→BR模块做掩码MAE重建输出⼲净背景→拼接原始图像、⼲净背景、差值图像→DH模块密集连接Transformer处理→输出⼆值检测结果1.DBR中首先将图像输入DSW以计算偏移量△x△ y。该偏移量△ x△ y表示当图像水平移动△x像素、垂直移动△y像素时目标会移动至区域中心而非被分割2.把移位后的图像通过 “补像素→分块→两次互补掩码→MAE 重建→裁剪还原”生成一张没有任何目标、只有干净背景的图这张图和原始图尺寸完全一样3.把 “原始含目标图像”“BR 重建的干净背景图”“原始图 - 背景图的差值图”差值图里目标会特别亮背景会很暗但有少量噪声三张图拼在一起给后续 DH 模块提供更多信息4.用 12 层密集连接的 Transformer分析拼接后的三张图过滤掉差值图里的噪声把 “重建误差” 误判的假目标去掉最后输出一张 “二值图”白色像素标 1就是检测出的小目标黑色像素标 0就是背景动态移窗模块DSW单一目标图4动态移窗模块DSW的结构。蓝色圆圈代表目标草图代表背景原始红外图像→ResNet34⻣⼲⽹络特征提取→三个全连接层头⽹络→输出偏移量[△x, △y]用ResNet34做特征提取把原始红外图像输入到ResNet34这个经典网络中它的作用是 “读懂” 图像 从杂乱的红外图像里提取出和小目标位置相关的关键特征忽略背景的无用信息相当于给后续计算偏移量提供线索用3个全连接层输出偏移量把ResNet34提取的特征输入到3 个全连接层中这层的作用是 “算结果”根据提取的目标位置特征直接算出最终的偏移量向量 [△x, △y]在测试阶段可通过以下方式获取偏移量Δ x , Δ y ( 24 − arg max ⁡ ( [ Δ x , Δ y ] ) ) % 16 \Delta x, \Delta y (24 - \argmax([\Delta x, \Delta y])) \% 16Δx,Δy(24−argmax([Δx,Δy]))%16对于任何目标目标到其最近的补丁中心的距离为(cxcy)。距离向量(cxcy)可通过取整到最近的整数并进行独热编码获得c x c y o n e h o t ( r o u n d ( c x c y ) ) cxcy onehot (round (cxcy))cxcyonehot(round(cxcy))DSW 采用 MSE 损失函数对距离向量和偏移向量进行拟合多目标扩展本文团队的目标是避免将同一目标分割为不同区域——即使所有目标位于不同但单一区域内目标中心是否靠近其区域中心并非必要条件。因此他们改用了另一标准通过移动红外图像确保目标中心远离其路径边缘在测试阶段可通过以下方式获取偏移量其中argmin([∆ x∆ y])表示与目标中心距离最远的像素∆ x , ∆ y 16 − a r g m i n ( [ ∆ x , ∆ y ] ) ∆x, ∆y 16 − argmin([∆x, ∆y])∆x,∆y16−argmin([∆x,∆y])这意味着对于多目标情况 DSW会最大化目标中心与图像块边缘之间的距离图5单个目标与多个目标的 DSW 差异单⽬标让⽬标落在图像块中⼼多⽬标让⽬标远离图像块边缘但最终⽬的都是让⽬标不被分割到两个图像块⾥当红外图像中仅存在一个目标时若目标中心远离路径边缘则等同于目标中心靠近路径中心。因此无需确定测试图像中的目标数量可以直接采用 DSW 处理多个目标背景重建模块BR图6背景重建模块BR的结构原始图像→填充16像素→按DSW偏移量移位→分16×16图像块嵌⼊→两次50%⽹格掩码互补→MAE分别重建→合并重建结果→裁剪还原→输出⼲净背景1.图像填充给原始红外图像尺寸 208×208的左侧、顶部区域各向右侧、底部补16 个像素补完后图像尺寸变成224×224让移位后的图像依然完整没有边缘缺失2.图像移位把补完像素的 224×224 图像按照 DSW 模块算出的水平偏移量△x、垂直偏移量△y做水平、垂直方向的移位3.图像分块 特征嵌入把移位后的 224×224 图像均匀分成无数个16×16 的小图像块Patch再把这些像素形式的图像块转换成 MAE 模型能识别、处理的特征向量4.两次互补网格掩码用50% 掩码率的网格掩码对转换后的特征向量做两次掩码操作且两次掩码的区域是互补的5.MAE 分别重建把两次掩码后的特征向量分别输入MAE 模型让 MAE 对每次被遮住的背景区域进行像素重建还原出被遮住的背景特征6.合并重建结果把 MAE 两次重建后的背景特征图按掩码的互补区域合并拼成一张完整的、无任何缺失的背景特征图7.特征反嵌入把合并后的背景特征向量重新转换回像素形式的图像此时图像尺寸还是补像素后的224×224探测头图7检测头DH的结构原始图像、⼲净背景、差值图像→拼接→特征嵌⼊→12层密集连接Transformer每⼀层输⼊和输出拼接→输出⼆值检测图1.输入层把三张图按通道拼接成一个 “组合特征图”2.处理层用12层Transformer逐层处理特征且每一层的 “输入特征” 和 “输出特征” 都会拼接在一起密集连接再传给下一层3.输出层把Transformer处理后的特征向量转回像素形式的二值图。像素值1代表这个位置是真目标白色像素值0代表这个位置是背景/噪声黑色由于生成的背景并非与实际背景完全相同必然存在重建误差。DH的目的是降低重建误差对检测性能的影响由于DH容易出现高召回率和低精确率的问题。为平衡精确率与召回率受广义Dice损失的启发本文团队提出加权Dice损失WDLoss。给定DH的结果为Y YY真实值为Y ^ \hat{Y}Y^WDLoss可通过以下方式计算L WDL − log ⁡ ( 2 γ ∑ ( Y × Y ^ ) ∑ ( Y ) γ ∑ ( Y ^ ) ) \mathcal{L}_{\text{WDL}} -\log\left( \frac{2\gamma \sum(Y \times \hat{Y})}{\sum(Y) \gamma \sum(\hat{Y})} \right)LWDL​−log(∑(Y)γ∑(Y^)2γ∑(Y×Y^)​)其中γ γγ表示权重因子。当γ γγ1时召回率大于精确率而0γ γγ1时精确率大于召回率。此处设定γ γγ2e-3实验DSW 的精确性图8不同阈值下DSW的精确率图横坐标是定位阈值像素纵坐标是DSW的定位精确率所有⽬标中⼼都能在8像素范围内被定位阈值8时精确率100%对于9×9的⽬标完全能保证⽬标不被分割5像素范围内的定位精确率达75%说明DSW的定位精度很⾼能为BR模块提供准确的偏移量验证了DSW模块的有效性说明其能解决“⽬标被分割”的核⼼问题消融研究表1MFIRST 数据集消融研究。“/”表示使用对应模块“×”表示未使用DH 模块最关键拆掉 DH 后F1 直接从 64.10% 掉到 25.34%是所有模块里影响最大的。因为没有 DH 过滤重建误差噪声差值图里的假亮点会被当成目标导致误判DSW 模块是基础拆掉 DSW 后F1 下降 1.47%~4.43%说明它是保证背景重建成功的前提。因为没有 DSW目标会被分割到两个块里BR 重建时会把目标也重建出来背景不干净BR 模块是核心拆掉 BR 后F1 下降 3.97%说明 “背景重建 差值检测” 的思路比直接检测更有效。因为复杂背景下直接找目标太难先重建干净背景再找差异更容易识别小目标为直观展示 DSW 对背景重建性能的影响本文团队分别生成了使用 DSW 和未使用 DSW 的背景图像图9无 DSW 与有 DSW 背景生成的性能对比当目标被分割成多个区域时直接重建背景会导致目标也被重建第二列。而使用DSW后目标可被整合为单一区域。由于目标不属于背景区域因此无法被重建最后一列与其他方法的比较表2基于MFIRST和SIRST评估的不同方法比较对比原则同一数据集下F1 分数最高的方法就是性能最优的如果 F1 接近再看精确率和召回率是否更平衡传统方法ADMD、MSPCM、AADCDD、TLLCM、WSLCMF1 分数低且指标失衡要么精确率高、召回率低AADCDD要么召回率高、精确率低ADMD深度学习方法MDvsFA-cGAN、ALCNet、ACM、DNANet、CourtNet、IAANetF1 分数大幅提升部分指标优秀但整体失衡精确率和召回率相差很大模型顾此失彼本文提出的 DBRF1 分数全场最高精确率全场最高召回率不是全场最高但足够优秀且精确率和召回率的数值相差极小定性表现图10DBR 的定性性能表现列1为原始红外图像列2为BR重建的⼲净背景列3为原始图像-⼲净背景的差值图像列4为DBR的检测结果列5为真实⽬标整体验证了DBR的端到端检测效果从背景重建到误差过滤整个流程能精准检测出复杂背景下的红外⼩⽬标是⽬前最优的⽅法结论本文提出了一种基于背景重建的红外小目标检测方法用于复杂背景下的目标识别且创新性地开发了动态背景重建ISTD该方法的核心原理是通过红外图像对比目标与无目标的干净背景实现目标检测未来方向本文团队将为ISTD设计专用的背景重建器。该重建器的设计将采用即插即用模块并尝试将BR集成到其他 ISTD 方法中以提升检测性能