1. 从“看画”说起为什么我们需要尺度空间想象一下你站在一幅巨大的油画前比如梵高的《星空》。当你把鼻子都快贴到画布上时你只能看到一小片区域那里有清晰的、厚重的笔触和颜料的纹理。你后退一步能看到一个完整的漩涡状星云。你再后退到房间的另一头整幅画的构图、色彩对比和光影关系变得清晰但笔触细节已经模糊。最后你站到美术馆的门口整幅画在你眼中可能只剩下一个模糊的色块。这个过程就是我们理解“尺度”最直观的例子。在计算机视觉里尺度指的就是我们观察和理解图像内容的“距离”或“层次”。离得近是精细尺度能看到边缘、角点、纹理离得远是粗糙尺度能看到轮廓、整体结构和大的色块。一个理想的视觉系统应该能像人眼一样无论远近都能认出画里画的是《星空》。这就是尺度不变性追求的目标。但计算机是“近视眼”它没有天生的远近感知能力。给它一张固定分辨率的数码照片它就只会在这一个“距离”上观察。如果照片里同一个物体因为拍摄距离不同而呈现出不同的大小比如近处的大狗和远处的小狗传统的特征提取方法很可能就认不出来了。因为它们只在单一的、固定的“观察距离”上工作。所以我们需要为计算机模拟这个“由近及远”的观察过程。这就是尺度空间理论的核心思想系统地、连续地生成一系列图像这些图像代表了原始图像在不同“观察距离”即尺度下的样子。我们不再只在一张图上找特征而是在这个由图像堆叠起来的、包含尺度维度的三维空间里寻找那些最稳定、最本质的特征点。这就是SIFT尺度不变特征变换算法如此强大的基石。接下来我就带你一步步拆解这个构建“视觉宇宙”的过程。2. 构建视觉宇宙尺度空间与图像金字塔的异同在动手之前我们得先理清两个容易混淆的概念尺度空间和图像金字塔。很多初学者会觉得它们是一回事其实不然理解了它们的区别才算摸到了尺度不变特征的门槛。2.1 图像金字塔离散的“楼梯”图像金字塔是最直观、也最古老的多尺度表示方法。它的操作非常“粗暴”从原始图像金字塔底层开始。进行高斯平滑模糊一下减少噪声和细节。进行降采样比如长宽各减一半像素数变为1/4。得到上一层的图像。重复步骤2和3就像搭积木一样得到一层层尺寸越来越小、内容越来越模糊的图像堆叠起来形如金字塔。我画个简单的示意图你就能明白层数 (尺度增大尺寸减小) ^ | [16x16] (最粗糙细节最少) | [32x32] | [64x64] | [128x128] (原始图最精细) ---------------- 空间金字塔的关键在于“降采样”。每一层和下一层之间不仅是内容模糊了连像素网格都变了分辨率降低了。这就像你看一幅画不是连续后退而是突然从1米跳到2米再跳到5米、10米。你的观察点是离散的、跳跃的。在金字塔的某一层比如128x128那层内部你依然是在一个固定的“距离”上观察并没有连续的尺度变化。因此单纯的金字塔方法在每一层内部提取的特征比如Harris角点本身并不是尺度不变的。它只是通过在不同“楼层”都找一遍特征来碰碰运气希望总有一个楼层能找到大小合适的特征。2.2 尺度空间连续的“缓坡”尺度空间理论则追求一种更优雅、更数学化的连续模拟。它的核心是尺度参数σ西格玛代表高斯核的标准差。σ越大图像越模糊代表的观察尺度越粗糙。尺度空间的构建不进行降采样它始终保持原始图像的分辨率。它的做法是固定图像尺寸比如始终是512x512。用一系列逐渐增大的σ值对原始图像进行高斯平滑卷积。将得到的一系列模糊程度不同的图像按照σ从小到大的顺序堆叠起来。这个堆叠起来的三维结构就是尺度空间。它的三个轴分别是图像的行坐标x、列坐标y以及尺度坐标σ。你可以把它想象成一个“千层糕”每一层一个固定的σ都是一张完整的、但模糊程度不同的图像。尺度σ (增大图像变模糊) ^ | σ2.0 (非常模糊) | σ1.6 | σ1.2 | σ0.8 | σ0.4 (轻微模糊) | σ0.0 (原始图像) ---------------- 图像平面 (x, y)尺度空间的关键在于“连续或准连续的平滑”。它模拟的是你从画面前缓慢、连续后退的过程。在这个连续实践中是密集采样的三维空间里一个理想的“特征”比如某个斑点会随着σ的增大从一个清晰的点逐渐扩散成一个模糊的团。这个特征在尺度空间中的“生命轨迹”就包含了它的尺度信息。两者的根本区别金字塔是空间分辨率离散变化的多尺度表示尺度空间是图像内容通过平滑连续演变的多尺度表示。SIFT算法虽然也用了“金字塔”这个词如高斯金字塔、DOG金字塔但其内核是尺度空间思想它的金字塔每一组Octave内部是连续的尺度采样组与组之间才进行降采样这实际上是将两种思想结合以兼顾连续性和计算效率。3. 寻找稳定的“宇宙灯塔”高斯拉普拉斯算子好了我们现在有了一个三维的尺度空间。接下来要做什么当然是寻找那些可以作为“路标”的稳定特征点。什么样的点才稳定呢它应该在图像平移、旋转、亮度变化尤其是尺度变化下都能被可靠地检测到。这里就引出了本章节的主角尺度归一化的高斯拉普拉斯算子。名字很长别怕我们拆开看。3.1 从拉普拉斯到LOG首先拉普拉斯算子可以简单理解为“找突变”的算子。在图像里它对于边缘、角点、斑点这些强度发生快速变化的区域响应很强。但它的缺点是“嗓门大”对图像噪声也异常敏感一点小小的噪声就能让它“大喊大叫”产生很多虚假的响应。所以一个标准的操作流程是先用高斯滤波器平滑图像滤除噪声再用拉普拉斯算子找突变。根据卷积的结合律先平滑再求拉普拉斯等价于先用拉普拉斯算子处理高斯滤波器本身得到一个复合的滤波器模板再用这个模板去卷积图像。这个复合的滤波器就是Laplacian of Gaussian。这个LOG滤波器长什么样呢它是一个墨西哥草帽状的函数。中间是一个正峰周围被一个负值的环包围。我实测下来它的物理意义很好理解当这个“草帽”的中心对准图像中一个明暗变化的斑点比如一个亮斑在暗背景上时卷积响应值会达到一个很强的正极值。这个响应的位置就对应了斑点的中心。3.2 为什么需要“尺度归一化”这是最关键的一步也是理解SIFT尺度不变性的核心。LOG滤波器有一个参数高斯核的标准差σ。σ决定了“草帽”的宽度。σ小“草帽”又窄又高只能响应非常细小、锐利的斑点σ大“草帽”又宽又矮能响应更大、更模糊的斑点。现在问题来了如果我们用不同σ的LOG滤波器去卷积同一个斑点得到的响应强度能直接比较吗不能因为滤波器本身的“体积”或者说能量随着σ变化了。σ越大滤波器越宽其函数图像的绝对值积分面积会变化。这会导致一个尴尬的局面同一个斑点用大σ滤波器得到的响应值天生就比用小σ滤波器得到的小。那我们怎么判断这个斑点在哪个σ下最显著呢为了解决这个问题必须进行尺度归一化。方法就是在原始的LOG算子前乘以一个σ²。即使用σ²∇²G作为我们的探测器。这个乘子巧妙地抵消了滤波器能量随σ变化的影响。你可以这样直观理解它让不同尺度的LOG滤波器在探测“理想斑点”时具有相同的响应强度。这样我们在尺度空间σ轴上比较不同层的卷积响应时才是公平的竞赛。一个斑点在某个σ下响应值最大那个σ就是这个斑点最稳定的特征尺度。4. 在三维空间“采矿”尺度空间极值检测理论准备就绪我们可以开始实战“采矿”了——在三维尺度空间里寻找那些稳定的特征点。这个过程是SIFT特征提取的引擎。4.1 构建DoG尺度空间在原始的SIFT论文中Lowe教授使用了一个非常巧妙的加速技巧用差分高斯来近似尺度归一化的高斯拉普拉斯。为什么因为计算LOG卷积很耗时而计算两个相邻尺度高斯模糊图像的差值DoG在数学上近似等于LOG并且计算起来快得多。具体操作是这样的构建高斯金字塔对原始图像用一系列递增的σ进行高斯模糊得到一组图像称为一个“Octave”。然后将图像降采样一半长宽各减半作为下一个Octave的起始图像重复这个过程。这样就形成了一个高斯金字塔它有多个Octave组每个Octave内有多个尺度层。计算DoG金字塔对于每一个Octave将相邻两层的高斯模糊图像相减就得到了DoG图像。DoG金字塔比高斯金字塔少一层。假设一个Octave内有5张高斯模糊图像σ分别为σ, kσ, k²σ, k³σ, k⁴σ那么相减后就能得到4张DoG图像。这4张DoG图像就代表了在某个尺度范围内对σ²∇²G的离散采样。整个DoG金字塔就是我们用于寻找极值点的三维尺度空间。4.2 三维极值点探测现在我们在这个三维的“数据立方体”里找极值点。规则很简单将一个点与其在三维空间中的所有邻居进行比较。对于一个在DoG金字塔中第o个Octave、第s层的点(x, y)我们需要比较它和它周围26个邻居的值同层邻居同一张DoG图像中周围8个像素点。上层邻居上一尺度层s1中对应位置及其周围的9个像素点。下层邻居下一尺度层s-1中对应位置及其周围的9个像素点。如果这个点(x, y, s)的DoG响应值像素值是这27个值中的最大值或最小值那么它就被初步选为一个候选极值点。这个过程就像在一个三维网格里寻找那些凸起或凹陷的“峰谷”。我踩过的一个坑是边界处理。在图像边界和尺度边界第一个和最后一个尺度的点是无法进行完整比较的所以这些位置的点会被直接舍弃这能避免大量不稳定的边缘响应。4.3 关键点精确定位与筛选上一步找到的极值点是在离散的网格像素坐标、离散的尺度层上找到的。但真实特征的最优点可能落在网格之间。因此我们需要通过拟合三维二次函数来亚像素级地精确定位关键点的位置和尺度。具体来说我们在候选极值点处利用DoG函数在尺度空间的泰勒展开式进行插值。通过求导并令其为零可以计算出极值点相对于离散采样点的偏移量(Δx, Δy, Δσ)。如果偏移量在任何维度上超过0.5例如x方向偏移超过0.5个像素就意味着极值点更靠近另一个采样点我们会更新极值点的位置并重新迭代计算。这个过程通常很快收敛。精确定位后我们还要进行严格的筛选剔除不稳定的点剔除低对比度点DoG响应值过小的点对噪声敏感不稳定。计算插值后极值点的DoG函数值如果绝对值小于某个经验阈值比如0.03就剔除。剔除边缘响应点DoG算子对边缘也有较强的响应但这些边缘点沿着边缘方向很不稳定。一个巧妙的判断是利用关键点处DoG图像的Hessian矩阵。对于边缘Hessian矩阵的两个特征值会相差很大。通过计算这两个特征值的比值如果超过某个阈值比如10就认为该点是边缘响应予以剔除。经过这几轮严格的“选拔”剩下的关键点就是那些位置、尺度都精确确定且对比度明显、非边缘的稳定点了。每个点都包含了三个信息(x, y)坐标以及它所处的尺度σ。至此我们成功地从图像中提取出了尺度不变的特征点位置。5. 为灯塔赋予“指纹”SIFT描述符生成找到关键点只是第一步就像在地图上标出了一个个灯塔的位置。要让计算机能进行匹配我们还需要为每个灯塔建立一个独特的、稳健的“身份证”也就是描述符。SIFT的描述符生成是其另一个精妙之处它保证了特征对光照、视角微小变化的不变性。5.1 确定描述符的主方向为了实现旋转不变性首先要为每个关键点分配一个主方向。这个方向是基于关键点所在尺度那个σ值的图像局部梯度计算出来的。计算梯度在关键点所在的高斯模糊图像注意不是DoG图像上以关键点为中心取一个一定大小的区域比如半径为3×1.5σ的圆形区域。计算该区域内每个像素的梯度幅值和方向。构建方向直方图将360度的方向划分为36个柱每柱10度。根据像素的梯度幅值并乘以一个高斯权重离关键点越近权重越大将其累加到对应的方向柱中。确定主方向找到直方图的峰值这个峰值对应的方向就是关键点的主方向。有时一个关键点可能存在多个显著的方向比如峰值达到最高峰80%的方向那么就会为这个关键点创建多个关键点实例每个实例拥有不同的主方向。这增强了匹配的鲁棒性。5.2 构建描述符向量现在我们以关键点为中心根据其尺度和主方向来构建一个独一无二的描述符。坐标轴旋转将图像坐标轴旋转到与关键点主方向一致。这样后续的描述符计算都是相对于这个主方向的从而实现了旋转不变性。划分区域在旋转后的区域内取一个以关键点为中心的16×16的窗口窗口大小与尺度σ成正比。将这个窗口划分为4×4共16个子区域。子区域梯度统计在每个4×4的子区域内计算每个像素的梯度幅值和方向此时方向是相对于主方向后的新坐标轴。将方向0-360度划分为8个区间每45度一个区间形成一个8维的方向直方图。累积形成向量对于每个子区域将区域内所有像素的梯度幅值同样加权累加到这8个方向区间中。这样一个子区域贡献一个8维向量。16个子区域总共得到一个16×8128维的向量。归一化对这个128维的向量进行归一化处理通常是L2归一化以减弱光照变化的影响光照强度变化会导致所有梯度幅值同比缩放归一化后这种影响被消除。为了进一步抑制非线性光照变化如相机饱和度造成的梯度值突变还会对归一化后的向量进行阈值截断比如大于0.2的值就设为0.2然后再重新归一化。最终这个128维的向量就是SIFT特征描述符。它综合了关键点邻域内的梯度方向分布信息对平移、旋转、尺度缩放、光照变化都具有很强的鲁棒性。在实际匹配时就是计算两个关键点之间128维描述符向量的欧氏距离距离越小相似度越高。6. 实战与思考SIFT的遗产与局限纸上得来终觉浅绝知此事要躬行。理解了原理最好的验证就是动手实现一遍或者至少用OpenCV等库跑一遍完整的流程。当你看到从一张模糊的、旋转过的图像中提取出的特征点依然能和原图正确匹配时你会对尺度空间理论的精妙有更深的体会。SIFT算法是计算机视觉历史上的一个里程碑。它将尺度空间理论、LOG极值检测、基于梯度的描述符完美地结合在一起在很长一段时间内都是局部特征描述的黄金标准。它的思想影响深远后续的很多特征如SURF加速版、ORB二进制版等都可以看作是SIFT思想在不同维度速度、二进制上的演进。当然SIFT也有其时代局限。最大的问题就是计算复杂度高无论是构建尺度空间、检测极值点还是计算128维的浮点型描述符都比较耗时难以满足实时性要求高的应用如SLAM、增强现实。此外虽然它对很多变换具有不变性但对于剧烈的视角变化、非刚性形变其匹配能力会下降。如今基于深度学习的特征提取方法如SuperPoint、D2-Net等在很多任务上已经超越了SIFT。这些方法通过端到端的训练能从数据中直接学习更强大、更紧凑的特征表示。但是这绝不意味着SIFT和尺度空间理论过时了。恰恰相反深度学习中的很多设计如图像金字塔在目标检测中的应用、多尺度特征融合等都隐含着尺度空间的思想。尺度空间理论为我们提供了一种理解图像多尺度本质的严谨数学框架这种思想是超越具体算法、历久弥新的。所以我的建议是学习SIFT重点不是去记忆那些复杂的公式和步骤而是深刻理解其背后的尺度空间哲学如何通过模拟连续的观察过程来捕获本质特征如何通过归一化来保证度量的公平性如何设计描述符来实现稳健的表示。这些思想在你未来设计任何与图像特征打交道的系统时都会是宝贵的财富。