1. 前言在前面的内容中我们已经知道物体检测不仅要识别“是什么”还要定位“在哪里”边界框用于表示目标位置数据集中的标签需要同时包含类别和边界框信息但新的问题马上就出现了一张图片中目标的位置、大小、形状都不固定模型到底该从哪里开始找目标如果让模型直接从整张图中“凭空”预测边界框难度会非常大。因此目标检测中引入了一种非常重要的机制锚框Anchor Box。锚框的核心思想是先在图像上预设大量可能包含目标的候选框再由模型判断哪些框中有目标并进一步修正它们的位置。这一节我们不仅要理解锚框的概念还要结合《动手学深度学习》中的代码真正看懂锚框是怎么生成的。2. 什么是锚框锚框英文叫Anchor Box也常被称为先验框。它指的是在图像的每个像素位置或者特征图的每个位置上预先放置若干个不同大小、不同长宽比的矩形框用来作为候选检测框。你可以把它理解成我们先在图像上“撒”很多框这些框形状各不相同真实目标总会和某些框比较接近模型再从这些框中筛选并修正出最终结果所以锚框不是最终结果而是检测的起点。3. 为什么需要锚框3.1 目标位置不固定图像中的目标可能出现在任意位置。如果没有参考框模型就必须直接回归所有可能坐标学习难度很高。有了锚框后模型就不需要“从零开始”而是在已有候选框基础上微调。3.2 目标大小不同有些目标很小有些目标很大。如果只用一种固定大小的框就很难同时适应不同尺度的目标。因此锚框通常会设置多个尺度。3.3 目标形状不同例如行人通常偏瘦高汽车通常偏宽某些物体接近正方形所以锚框不仅要有不同大小还要有不同的宽高比。3.4 将检测问题转化为更容易学习的问题锚框机制建立后模型只需要做两件事分类这个锚框里有没有目标属于什么类别回归这个锚框应该往哪里偏移才能更贴近真实框这样一来复杂的检测问题就被转成了“候选框分类 候选框回归”。4. 李沐代码中锚框的核心函数在《动手学深度学习》中生成锚框使用的核心函数是d2l.multibox_prior这个函数的作用可以概括为一句话以输入特征图的每个像素位置为中心生成一组不同尺度和宽高比的锚框。5. 先看一段核心代码先看最经典的一段代码import torch from d2l import torch as d2l img d2l.plt.imread(catdog.jpg) h, w img.shape[:2] X torch.rand(size(1, 3, h, w)) Y d2l.multibox_prior(X, sizes[0.75, 0.5, 0.25], ratios[1, 2, 0.5]) Y.shape输出结果通常是torch.Size([1, h*w*5, 4])如果书里的图片大小是561 × 728那么结果就是torch.Size([1, 2042040, 4])6. 这段代码到底在干什么我们一行一行看。6.1 读取图片尺寸img d2l.plt.imread(catdog.jpg) h, w img.shape[:2]这里读取图片后取出h图片高度w图片宽度假设h 561w 7286.2 构造一个输入张量X torch.rand(size(1, 3, h, w))这里并不是要真的拿随机数做检测而是因为multibox_prior只关心输入张量的空间尺寸也就是高和宽不关心里面具体是什么数值。这个张量形状是(批量大小, 通道数, 高, 宽)也就是(1, 3, h, w)这和卷积神经网络常见输入格式一致。6.3 生成锚框Y d2l.multibox_prior(X, sizes[0.75, 0.5, 0.25], ratios[1, 2, 0.5])这里设置了sizes[0.75, 0.5, 0.25]ratios[1, 2, 0.5]意思是在每个像素位置都生成若干个不同尺度、不同宽高比的锚框。7. 为什么每个像素位置会生成 5 个锚框这是最容易考的点也是最容易懵的地方。先看参数sizes有 3 个[0.75, 0.5, 0.25]ratios有 3 个[1, 2, 0.5]很多人第一反应会觉得不是应该 3 × 3 9 个锚框吗其实不是。在李沐这套实现中每个像素位置生成的锚框个数是len(sizes) len(ratios) - 1所以这里就是3 3 - 1 58. 为什么是m n - 1设m len(sizes)n len(ratios)生成方式不是所有尺度和所有宽高比全部两两组合而是采用下面这种策略先固定ratio 1配合所有sizes再固定size sizes[0]配合其余所有ratios具体到这里第一组固定ratio 1配合所有尺度(0.75, 1)(0.5, 1)(0.25, 1)共 3 个。第二组固定size 0.75配合剩余宽高比(0.75, 2)(0.75, 0.5)共 2 个。总共就是3 2 5所以每个像素位置生成 5 个锚框。9. 输出形状为什么是[1, h*w*5, 4]现在就能理解这个输出了Y.shape (1, h*w*5, 4)含义如下第一个维度1表示 batch size也就是这里只有 1 张图。第二个维度h*w*5表示总锚框数量一共有h*w个像素位置每个位置生成 5 个锚框所以总数为h * w * 5第三个维度4每个锚框用 4 个数表示(xmin, ymin, xmax, ymax)所以最后维度是 4。10. 以书中图片为例计算若图片大小为h 561 w 728则总像素点数为561 * 728 408408每个像素生成 5 个锚框所以总锚框数为408408 * 5 2042040所以最终输出形状就是(1, 2042040, 4)这也正是书里的结果。11. 如何查看某个像素位置的锚框代码通常还会继续写成boxes Y.reshape(h, w, 5, 4) boxes[250, 250, 0, :]这里的作用是把原来扁平化保存的所有锚框重新整理成更容易理解的形式(h, w, 每个位置的锚框数, 4)也就是(h, w, 5, 4)这样boxes[i, j, k, :]就表示第i行、第j列像素位置的第k个锚框。例如boxes[250, 250, 0, :]就是查看(250, 250)这个位置处的第 1 个锚框。12. 锚框坐标为什么会出现负数或大于 1查看某些锚框时经常会看到类似这样的结果tensor([-0.08, -0.13, 0.52, 0.69])甚至可能出现小于 0 或大于 1 的值。这并不奇怪因为这里的坐标通常是归一化坐标相对于整张图宽高而言左上角是(0, 0)右下角是(1, 1)如果某个锚框中心靠近边缘而锚框本身又比较大那么它的一部分就可能“伸出图像边界”于是左上角可能小于 0右下角可能大于 1这是正常现象后续处理中通常会裁剪或者在匹配时处理。13. 锚框的可视化代码为了更直观地理解锚框通常会把某个像素位置生成的多个锚框画出来。常见代码如下bbox_scale torch.tensor((w, h, w, h)) fig d2l.plt.imshow(img) d2l.show_bboxes(fig.axes, boxes[250, 250, :, :] * bbox_scale, [s0.75, r1, s0.5, r1, s0.25, r1, s0.75, r2, s0.75, r0.5]) d2l.plt.show()14. 这段可视化代码怎么理解14.1bbox_scalebbox_scale torch.tensor((w, h, w, h))因为boxes中保存的是归一化坐标范围大多在 0 到 1 附近。而画图时需要真实像素坐标所以这里乘上(w, h, w, h)把归一化坐标还原到像素尺度。14.2boxes[250, 250, :, :]表示取(250, 250)这个像素位置该位置所有 5 个锚框每个锚框有 4 个坐标14.3d2l.show_bboxes(...)这个函数的作用是把多个边界框画到图片上同时标注每个框对应的尺寸和宽高比这样我们就能非常直观地看到大尺度锚框更大小尺度锚框更小不同宽高比的锚框形状不同15. 锚框中的“尺度”和“宽高比”到底表示什么这是理解锚框的关键。15.1 尺度size尺度控制的是锚框整体大小。值越大框越大值越小框越小。例如0.75较大0.5中等0.25较小15.2 宽高比ratio宽高比控制的是框的形状。例如ratio 1正方形ratio 2宽高比更宽ratio 0.5更高更瘦所以尺度决定“多大”宽高比决定“长什么样”。16. 锚框的本质理解到这里可以把锚框机制总结成一句非常重要的话锚框是在每个位置预先放置的一组不同形状参考框用来覆盖各种可能出现的目标。真实目标出现时总会有一些锚框和它比较接近。模型再学习哪些锚框应该保留它们属于什么类别它们还需要怎样微调所以锚框本质上是一种“先验假设”。17. 锚框机制的优点17.1 让检测有了明确起点模型不用从零开始瞎猜而是基于候选框学习。17.2 能覆盖不同大小目标通过多尺度锚框可以检测大目标和小目标。17.3 能覆盖不同形状目标通过不同宽高比可以适配行人、汽车等不同形状物体。18. 锚框机制的缺点18.1 数量太多每个位置都生成多个锚框整张图下来会有海量候选框计算成本很高。18.2 需要人工设计参数尺度设多少、比例设多少往往需要经验。18.3 不够灵活如果真实目标和预设锚框差异太大匹配效果就不好。这也是后来很多anchor-free检测方法出现的原因。19. 本节总结这一节我们结合代码系统学习了锚框的生成过程重点包括19.1 锚框是什么锚框是预先生成的候选框不是最终检测框。19.2 为什么需要锚框因为目标位置、大小、形状都不固定锚框为检测提供了参考模板。19.3multibox_prior的作用它会在每个像素位置生成多个不同尺度、不同宽高比的锚框。19.4 每个像素位置生成多少个锚框数量公式为len(sizes) len(ratios) - 119.5 输出形状如何理解(1, h*w*每位置锚框数, 4)其中最后一个 4 表示一个锚框的四个坐标。20. 学习感悟锚框这一节往往是目标检测真正开始“上强度”的地方。因为从这里开始我们不再只是看图片和类别而是开始考虑每个位置生成多少候选框候选框尺度怎么设计宽高比怎么选择框与真实目标如何匹配这些问题都比图像分类更复杂但也更能体现目标检测的核心思想。如果说分类任务是在问“这张图是什么”那么锚框机制已经开始在问“目标可能在哪应该从哪些候选位置开始找”这正是目标检测和普通分类任务本质不同的地方。