1.YOLO1.1 简介YOLO系列算法是一类典型的one-stage目标检测算法其利用anchor box将分类与目标定位的回归问题结合起来从而做到了高效、灵活和泛化性能好所以在工业界也十分受欢迎.Yolo算法采用一个单独的CNN模型实现end-to-end的目标检测核心思想就是利用整张图作为网络的输入直接在输出层回归 bounding box边界框 的位置及其所属的类别整个系统如下图所示首先将输入图片resize到448x448然后送入CNN网络最后处理网络预测结果得到检测的目标。相比R-CNN算法其是一个统一的框架其速度更快。在介绍Yolo算法之前我们回忆下RCNN模型RCNN模型提出了候选区(Region Proposals)的方法先从图片中搜索出一些可能存在对象的候选区Selective Search大概2000个左右然后对每个候选区进行对象识别但处理速度较慢。Yolo意思是You Only Look Once它并没有真正的去掉候选区域而是创造性的将候选区和目标分类合二为一看一眼图片就能知道有哪些对象以及它们的位置。Yolo模型采用预定义预测区域的方法来完成目标检测具体而言是将原始图像划分为 7x749 个网格grid每个网格允许预测出2个边框bounding box包含某个对象的矩形框总共49x298 个bounding box。我们将其理解为98个预测区很粗略的覆盖了图片的整个区域就在这98个预测区中进行目标检测。1.2 YOLO的网络结构YOLO的结构非常简单就是单纯的卷积、池化最后加了两层全连接从网络结构上看与前面介绍的CNN分类网络没有本质的区别最大的差异是输出层用线性函数做激活函数因为需要预测bounding box的位置数值型而不仅仅是对象的概率。所以粗略来说YOLO的整个结构就是输入图片经过神经网络的变换得到一个输出的张量如下图所示网络结构比较简单重点是我们要理解网络输入与输出之间的关系。网络输入网络的输入是原始图像唯一的要求是缩放到448x448的大小。主要是因为Yolo的网络中卷积层最后接了两个全连接层全连接层是要求固定大小的向量作为输入所以Yolo的输入图像的大小固定为448x448。网络输出网络的输出就是一个7x7x30 的张量tensor。根据YOLO的设计输入图像被划分为 7x7 的网格grid输出张量中的 7x7 就对应着输入图 像的 7x7 网格。或者我们把 7x7x30 的张量看作 7x749个30维的向量也就是输入图像中的每 个网格对应输出一个30维的向量。如下图所示比如输入图像左上角的网格对应到输出张量中左 上角的向量。30维的向量包含2个bbox的位置和置信度以及该网格属于20个类别的概率1.3 YOLO的训练在进行模型训练时我们需要构造训练样本和设计损失函数才能利用梯度下降对网络进行训练。将一幅图片输入到yolo模型中对应的输出是一个7x7x30张量构建标签label时对于原图像中 的每一个网格grid都需要构建一个30维的量。对照下图我们来构建目标向量20个对象分类的概率对于输入图像中的每个对象先找到其中心点。比如上图中自行车其中心点在黄色圆点位置 中心点落在黄色网格内所以这个黄色网格对应的30维向量中自行车的概率是1其它对象的 概率是0。所有其它48个网格的30维向量中该自行车的概率都是0。这就是所谓的中心点所在 的网格对预测该对象负责。狗和汽车的分类概率也是同样的方法填写2个bounding box的位置训练样本的bbox位置应该填写对象真实的位置bbox但一个对象对应了2个bounding box该填 哪一个呢需要根据网络输出的bbox与对象实际bbox的IOU来选择所以要在训练过程中动态决 定到底填哪一个bbox。1.4 总结Yolo先使用ImageNet数据集对前20层卷积网络进行预训练然后使用完整的网络在PASCAL VOC数据集上进行对象识别和定位的训练。 Yolo的最后一层采用线性激活函数其它层都是Leaky ReLU。训练中采用了drop out和数据增强 data augmentation来防止过拟合。将图片resize成448x448的大小送入到yolo网络中输出一个 7x7x30 的张量tensor来表示 图片中所有网格包含的对象概率以及该对象可能的2个位置bounding box和可信程度 置信度。在采用NMSNon-maximal suppression非极大值抑制算法选出最有可能是目 标的结果。优点速度非常快处理速度可以达到45fps其快速版本网络较小甚至可以达到155fps训练和预测可以端到端的进行非常简便缺点准确率会打折扣对于小目标和靠的很近的目标检测效果并不好1.5 YOLO V2YOLOv2相对v1版本在继续保持处理速度的基础上从预测更准确Better速度更快 Faster识别对象更多Stronger这三个方面进行了改进。其中识别更多对象也就是扩展 到能够检测9000种不同对象称之为YOLO9000。 下面我们看下yoloV2的都做了哪些改进批标准化有助于解决反向传播过程中的梯度消失和梯度爆炸问题降低对一些超参数的敏感性 并且每个batch分别进行归一化的时候起到了一定的正则化效果从而能够获得更好的收敛速度和收敛效果。在yoloV2中卷积后全部加入Batch Normalization网络会提升2%的mAP。YOLO1并没有采用先验框并且每个grid只预测两个bounding box整个图像98个。YOLO2如果 每个grid采用5个先验框总共有13x13x5845个先验框。通过引入anchor boxes使得预测的 box数量更多13x13xn。图像中对象会有大有小输入图像经过多层网络提取特征最后输出的特征图中较小的对象可 能特征已经不明显甚至被忽略掉了。为了更好的检测出一些比较小的对象最后输出的特征图需 要保留一些更细节的信息。 YOLO2引入一种称为passthrough层的方法在特征图中保留一些细节信息。具体来说就是在最 后一个pooling之前特征图的大小是26x26x512将其1拆4直接传递passthrough到 pooling后并且又经过一组卷积的特征图两者叠加到一起作为输出的特征图。多尺度训练YOLO2中没有全连接层可以输入任何尺寸的图像。因为整个网络下采样倍数是32采用了 {320,352,…,608}等10种输入图像的尺寸这些尺寸的输入图像对应输出的特征图宽和高是 {10,11,…19}。训练时每10个batch就随机更换一种尺寸使网络能够适应各种大小的对象检测。yoloV2提出了Darknet-19有19个卷积层和5个MaxPooling层网络结构作为特征提取网络。 DarkNet-19比VGG-16小一些精度不弱于VGG-16但浮点运算量减少到约⅕以保证更快的运 算速度。yoloV2的网络中只有卷积pooling从416x416x3 变换到 13x13x5x25。增加了batchnormalization增加了一个passthrough层去掉了全连接层以及采用了5个先验框,网络的输 出如下图所示VOC数据集可以检测20种对象但实际上对象的种类非常多只是缺少相应的用于对象检测的训 练样本。YOLO2尝试利用ImageNet非常大量的分类样本联合COCO的对象检测数据集一起训 练使得YOLO2即使没有学过很多对象的检测样本也能检测出这些对象。1.6 YOLO V3yoloV3以V1V2为基础进行的改进主要有利用多尺度特征进行目标检测先验框更丰富 调整了网络结构对象分类使用logistic代替了softmax,更适用于多标签分类任务。yoloV3的流程如下图所示对于每一幅输入图像YOLOv3会预测三个不同尺度的输出目的是 检测出不同大小的目标。多尺度检测通常一幅图像包含各种不同的物体并且有大有小。比较理想的是一次就可以将所有大小的物体 同时检测出来。因此网络必须具备能够“看到”不同大小的物体的能力。因为网络越深特征图 就会越小所以网络越深小的物体也就越难检测出来。 在实际的feature map中随着网络深度的加深浅层的feature map中主要包含低级的信息物 体边缘颜色初级位置信息等深层的feature map中包含高等信息例如物体的语义信 息狗猫汽车等等。因此在不同级别的feature map对应不同的scale所以我们可以在不 同级别的特征图中进行目标检测。如下图展示了多种scale变换的经典方法。网络模型结构在基本的图像特征提取方面YOLO3采用了Darknet-53的网络结构含有53个卷积层它借鉴 了残差网络ResNet的做法在层之间设置了shortcut来解决深层网络梯度的问题shortcut如 下图所示包含两个卷积层和一个shortcut connections。yoloV3的模型结构如下所示整个v3结构里面没有池化层和全连接层网络的下采样是通过设 置卷积的stride为2来达到的每当通过这个卷积层之后图像的尺寸就会减小到一半。先验框** logistic回归**yoloV3模型的输入与输出2.卡尔曼滤波卡尔曼滤波Kalman⽆论是在单⽬标还是多⽬标领域都是很常⽤的⼀种算法 我们将卡尔曼滤波看做⼀种运动模型⽤来对⽬标的位置进⾏预测并且利⽤预测 结果对跟踪的⽬标进⾏修正属于⾃动控制理论中的⼀种⽅法。卡尔曼滤波器最⼤的优点是采⽤递归的⽅法来解决线性滤波的问题它只需要当前 的测量值和前⼀个周期的预测值就能够进⾏状态估计。由于这种递归⽅法不需要⼤ 量的存储空间每⼀步的计算量⼩计算步骤清晰⾮常适合计算机处理因此卡 尔曼滤波受到了普遍的欢迎在各种领域具有⼴泛的应⽤前景。3.匈牙利算法匈⽛利算法Hungarian Algorithm与KM算法Kuhn-Munkres Algorithm是⽤ 来解决多⽬标跟踪中的数据关联问题匈⽛利算法与KM算法都是为了求解⼆分图 的最⼤匹配问题。可以把⼆分图理解为视频中连续两帧中的所有检测框第⼀帧所有检测框的集合称 为U第⼆帧所有检测框的集合称为V。同⼀帧的不同检测框不会为同⼀个⽬标 所以不需要互相关联相邻两帧的检测框需要相互联通最终将相邻两帧的检测框 尽量完美地两两匹配起来。⽽求解这个问题的最优解就要⽤到匈⽛利算法或者KM算法。匈⽛利算法是⼀种在多项式时间内求解任务分配问题的组合优化算法。美国数学家哈罗德·库恩于1955年提出该算法。此算法之所以被称作匈⽛利算法是因为算法 很⼤⼀部分是基于以前匈⽛利数学家Dénes Kőnig和Jenő Egerváry的⼯作之上创建 起来的。我们以⽬标跟踪的⽅法介绍匈⽛利算法以下图为例假设左边的四张图是我们在 第N帧检测到的⽬标U右边四张图是我们在第N1帧检测到的⽬标V。红 线连起来的图是我们的算法认为是同⼀⾏⼈可能性较⼤的⽬标。由于算法并不是 绝对理想的因此并不⼀定会保证每张图都有⼀对⼀的匹配⼀对⼆甚⾄⼀对多 再甚⾄多对多的情况都时有发⽣。这时我们怎么获得最终的⼀对⼀跟踪结果呢我 们来看匈⽛利算法是怎么做的。⾸先给左1进⾏匹配发现第⼀个与其相连的右1还未匹配将其配对连上⼀条蓝线。接着匹配左2发现与其相连的第⼀个⽬标右2还未匹配将其配对接下来是左3发现最优先的⽬标右1已经匹配完成了怎么办呢 我们给之前右1的匹配对象左1分配另⼀个对象。⻩⾊表示这条边被临时拆掉可以与左1匹配的第⼆个⽬标是右2但右2也已经有了匹配对象怎么办呢 我们再给之前右2的匹配对象左2分配另⼀个对象注意这个步骤和上⾯是⼀样的 这是⼀个递归的过程。此时发现左2还能匹配右3那么之前的问题迎刃⽽解了回溯回去。 左2对右3左1对右2左3对右1最后是左4很遗憾按照第三步的节奏我们没法给左4腾出来⼀个匹配对象只能 放弃对左4的匹配匈⽛利算法流程⾄此结束。蓝线就是我们最后的匹配结果⾄此我们找到了这个⼆分图的⼀个最⼤匹配。最终的结果是我们匹配出了三对⽬标 由于候选的匹配⽬标中包含了许多错误的匹配红线边所以匹配准确率并不 ⾼。可⻅匈⽛利算法对红线连接的准确率要求很⾼也就是要求我们运动模型、外 观模型等部件必须进⾏较为精准的预测或者预设较⾼的阈值只将置信度较⾼的 边才送⼊匈⽛利算法进⾏匹配这样才能得到较好的结果。3.1 KM算法KM算法解决的是带权⼆分图的最优匹配问题。 还是⽤上⾯的图来举例⼦这次给每条连接关系加⼊了权重也就是我们算法中其 他模块给出的置信度分值。