两阶段目标检测器的核心思想是第一阶段先找候选区域第二阶段再对候选区域做分类和精修。典型代表是R-CNN Fast R-CNN Faster R-CNN Mask R-CNN现在最典型的是Faster R-CNN / Mask R-CNN所以我以它为主来讲。1. 两阶段目标检测整体流程一个两阶段检测器大致执行步骤是输入图像 ↓ Backbone 提取特征 ↓ RPN 生成区域建议 ↓ RoI Pooling / RoIAlign 提取候选区域特征 ↓ 检测头进行分类 ↓ 检测头进行边框回归 ↓ NMS 后处理 ↓ 输出最终检测结果可以把它分成两个大阶段第一阶段找哪里可能有目标 第二阶段判断目标是什么并把框修准2. 第一步输入图像输入是一张图片比如H × W × 3例如800 × 600 × 3目标检测希望输出类似这样的结果猫置信度 0.96边界框 [x1, y1, x2, y2] 车置信度 0.91边界框 [x1, y1, x2, y2] 人置信度 0.88边界框 [x1, y1, x2, y2]也就是说既要知道类别又要知道位置。3. 第二步Backbone 提取特征输入图像先送入一个卷积神经网络也就是 backbone。常见 backbone 有VGG ResNet ResNeXt Swin Transformer它的作用是把原图转换成特征图。例如原图800 × 600 × 3经过 backbone 后可能得到50 × 38 × 1024这个特征图尺寸变小了但语义信息更强。它不再只是原始像素而是包含边缘、纹理、形状、局部结构和高层语义信息。可以理解为原图负责提供视觉内容 Backbone 负责提取可用于检测的特征4. 第三步第一阶段RPN 生成区域建议这是两阶段检测里的第一阶段。RPN也就是 Region Proposal Network负责生成候选框。它在 backbone 输出的特征图上工作。4.1 在特征图上放 anchorRPN 会在特征图的每个位置放多个 anchor。例如每个位置放 9 个 anchor3 种尺度 × 3 种长宽比 9 个 anchor如果特征图大小是50 × 38那么 anchor 数量大约是50 × 38 × 9 17100一开始候选框非常多。4.2 对每个 anchor 做两个预测RPN 对每个 anchor 输出两类结果第一类objectness score判断这个 anchor 里有没有目标。注意这里不是判断这是猫 / 狗 / 车 / 人而是判断这里像不像有一个物体所以它通常只是前景 / 背景二分类。第二类bbox regression预测 anchor 应该如何调整。每个 anchor 会得到 4 个偏移量dx, dy, dw, dh分别表示中心点 x 方向怎么移动 中心点 y 方向怎么移动 宽度怎么缩放 高度怎么缩放也就是说anchor 边框偏移量 proposalRPN 不是直接拿 anchor 当结果而是先修正 anchor再得到区域建议。4.3 筛选 proposalsRPN 会生成很多 proposal但不会全部保留。它通常会做删除太小的框 删除超出边界的框 按照 objectness 分数排序 使用 NMS 去掉重复框 保留 Top-N 个 proposal比如最后保留训练时 2000 个 proposal 测试时 300 个 proposal这些 proposal 会送入第二阶段。5. 第四步RoI Pooling / RoIAlign 提取候选区域特征RPN 生成的 proposal 是原图上的候选框。但是后续检测头需要的是固定大小的特征例如7 × 7 × C问题是每个 proposal 的大小不同。比如候选框 A100 × 80 候选框 B250 × 180 候选框 C60 × 120它们不能直接送进同一个全连接分类器。所以需要RoI 特征提取。5.1 RoI 是什么RoI 是 Region of Interest意思是感兴趣区域。在目标检测中一个 proposal 就可以看作一个 RoI。也就是RPN 生成 proposal proposal 被当作 RoI RoI 被送入检测头5.2 RoI Pooling 的作用RoI Pooling 会把不同大小的 proposal 区域都转换成固定大小的特征。例如全部变成7 × 7 × C这样后面的分类器就能统一处理。5.3 RoIAlign 的改进Mask R-CNN 中常用 RoIAlign。它比 RoI Pooling 更精确因为 RoI Pooling 会进行量化取整可能造成位置偏差。RoIAlign 避免粗暴取整使用插值方式提取特征所以定位更准尤其适合实例分割。简单理解RoI Pooling快但可能有位置误差 RoIAlign更精确适合检测和分割6. 第五步第二阶段检测头分类这是两阶段检测的第二阶段。每个 proposal 的 RoI 特征会送入检测头。检测头首先做分类这个候选区域是什么类别例如输出背景0.01 猫0.92 狗0.03 车0.02 人0.02这时才真正判断具体类别。和 RPN 不同RPN只判断有没有物体 检测头判断具体是什么物体7. 第六步第二阶段边框再次回归检测头除了分类还会再做一次边框回归。为什么 RPN 已经修正过边框了第二阶段还要修因为 RPN 只是粗略生成候选区域它的目标是高召回率不一定特别精确。第二阶段会基于更强的 RoI 特征对边框进行更精细的调整。可以理解为RPN 边框回归粗调 检测头边框回归精调例如 RPN proposal 是大致框住猫但左边多了一些背景检测头会进一步调整成更紧密地包住猫8. 第七步后处理 NMS第二阶段会输出很多检测框其中可能有大量重复框。比如同一只猫可能得到多个检测结果猫 0.96框 A 猫 0.93框 B 猫 0.89框 C这些框高度重叠实际上表示同一个目标。所以需要 NMS也就是非极大值抑制。NMS 的流程是按置信度从高到低排序 保留分数最高的框 删除与它重叠度太高的框 继续处理剩余框最终只保留比较干净的检测结果。9. 第八步输出最终检测结果最后输出每个目标的类别 置信度 边界框坐标例如person 0.98 [120, 80, 260, 500] dog 0.94 [310, 200, 480, 430] car 0.91 [50, 300, 400, 520]如果是 Mask R-CNN还会额外输出实例分割 mask也就是每个目标的像素级轮廓。10. 用一句话串起来两阶段目标检测器的执行过程可以这样理解先用 backbone 提取整张图的特征 再用 RPN 从特征图中找出可能有目标的候选框 然后用 RoI Pooling / RoIAlign 把每个候选框的特征裁出来 最后用检测头判断每个候选框是什么类别并精修边界框 经过 NMS 去重后输出最终检测结果。11. 更形象的类比可以把两阶段检测想成考试阅卷第一阶段圈重点RPN 像一个初筛老师这里可能有目标 那里可能有目标 这块像背景忽略它不负责精确判断类别只负责把可疑区域圈出来。第二阶段仔细判断检测头像一个专家老师这个区域是猫 这个区域是车 这个区域其实是背景 这个框需要再往右调一点所以两阶段检测比一阶段检测多了一步“候选区域筛选”。12. 训练阶段和推理阶段的区别上面讲的是推理流程也就是模型实际检测一张图片时怎么执行。训练时还会多一些步骤。12.1 训练 RPN训练 RPN 时需要给 anchor 分配标签正样本和真实框 IoU 高的 anchor 负样本和真实框 IoU 很低的 anchor 忽略样本IoU 处在中间区域RPN 学两个任务判断 anchor 是前景还是背景 学习 anchor 到真实框的偏移量对应两个损失RPN 分类损失 RPN 边框回归损失12.2 训练第二阶段检测头第二阶段检测头也需要训练。它会把 RPN 生成的 proposal 和真实框匹配然后学习proposal 属于哪个类别 proposal 应该如何进一步调整对应两个损失分类损失 边框回归损失如果是 Mask R-CNN还有mask 分割损失13. 两阶段检测器的总损失以 Faster R-CNN 为例总损失可以概括为总损失 RPN 分类损失 RPN 边框回归损失 检测头分类损失 检测头边框回归损失如果是 Mask R-CNN则还要加上 Mask 分支损失所以它是多任务学习既学会找候选区域 又学会分类 又学会精确定位 如果有 mask 分支还学会实例分割14. 两阶段检测为什么通常更准两阶段方法通常精度较高原因是第一阶段先缩小搜索范围 第二阶段可以对候选区域做更细致的分类和定位相比直接在整张图上密集预测两阶段方法给了模型一次“先粗后细”的机会。不过代价是流程更复杂 速度通常比一阶段检测慢所以常见取舍是两阶段检测精度高速度相对慢 一阶段检测速度快结构更简单15. 最简版记忆你可以把两阶段目标检测记成这 6 步1. 输入图像 2. Backbone 提取特征图 3. RPN 生成候选框 4. RoI Pooling / RoIAlign 提取候选框特征 5. 检测头分类 边框回归 6. NMS 后处理输出最终结果最核心的是这句话第一阶段负责“找可能有目标的地方”第二阶段负责“判断是什么并把框调准”。