1. MiddleBury与SceneFlow数据集简介MiddleBury和SceneFlow是计算机视觉领域两个非常重要的立体视觉数据集。MiddleBury数据集由Middlebury College发布包含了大量高质量的立体图像对这些图像对由两台相机在同一时间、不同位置拍摄涵盖了各种复杂的室内和室外场景。SceneFlow则是一个更大规模的数据集包含了FlyingThings3D、Driving和Monkaa三个子集主要用于光流和立体匹配算法的训练和评估。我第一次接触这两个数据集是在做一个立体匹配项目时当时为了测试算法的效果需要找到标准化的测试数据。MiddleBury的数据质量非常高场景细节丰富非常适合用来验证算法的精度。而SceneFlow的数据量更大场景变化更多样特别适合用来训练深度学习模型。这两个数据集都提供了完整的相机参数和视差图数据。相机参数包括内参和外参内参描述了相机本身的特性比如焦距、主点坐标等外参则描述了相机在世界坐标系中的位置和姿态。视差图以PFM格式存储这是一种浮点像素的图像格式可以保留视差值的精确度。2. 相机参数详解2.1 相机内参解析相机内参矩阵通常表示为3x3的矩阵形式如下[f 0 cx] [0 f cy] [0 0 1 ]在MiddleBury数据集的calib.txt文件中我们可以看到类似这样的参数cam0[1758.23 0 953.34; 0 1758.23 552.29; 0 0 1]这里f1758.23是焦距(cx,cy)(953.34,552.29)是主点坐标。这个矩阵的含义是相机在x和y方向上的焦距相同没有倾斜因为非对角线元素都是0主点位于图像中心偏右下的位置。SceneFlow数据集的内参稍有不同它模拟了两种不同的相机焦距35mm焦距的相机内参[[1050.0, 0.0, 479.5], [0.0, 1050.0, 269.5], [0.0, 0.0, 1.0]]15mm焦距的相机内参[[450.0, 0.0, 479.5], [0.0, 450.0, 269.5], [0.0, 0.0, 1.0]]在实际项目中我发现理解这些参数非常重要。比如在做立体匹配时如果内参不准确计算出的深度图就会有偏差。我曾经遇到过因为主点坐标设置错误导致深度图出现明显扭曲的情况。2.2 相机外参解析相机外参描述的是相机在世界坐标系中的位置和姿态。在MiddleBury和SceneFlow数据集中外参通常以4x4的变换矩阵表示包含了旋转和平移信息。SceneFlow的camera_data.txt文件中的外参示例Frame 1 L 0.000180073388037 -4.3711384734e-08 -0.999999880791 47.8838249108 -0.999999880791 -6.77291538409e-08 -0.000180141098099 39.5000647903 -2.96019105055e-15 1.0 -1.11432655103e-07 1.0 0.0 0.0 0.0 1.0这个矩阵的前3x3部分是旋转矩阵最后一列的前三个元素是平移向量。在实际应用中我们需要特别注意这个矩阵的坐标系定义和行列顺序不同数据集可能有不同的约定。我曾经在处理SceneFlow数据时因为没有注意到外参矩阵是按行展开的导致相机姿态计算完全错误。后来通过可视化相机位置才发现问题所在这个教训让我深刻理解了仔细阅读数据说明文档的重要性。3. PFM文件格式解析3.1 PFM文件结构PFM(Portable Float Map)文件由两部分组成文件头(header)和二进制图像数据。文件头包含三行文本信息标识符行Pf表示单通道灰度图像PF表示3通道RGB图像尺寸行图像的宽度和高度缩放因子和字节序scale0表示小端序scale0表示大端序MiddleBury的PFM文件头示例PF 1080 1920 -0.003922这个例子表示这是一个3通道的RGB图像尺寸为1920x1080使用小端序存储缩放因子为0.003922。3.2 PFM文件读取读取PFM文件的Python实现如下def read_pfm(pfm_file_path): with open(pfm_file_path, rb) as pfm_file: header pfm_file.readline().decode().rstrip() channels 3 if header PF else 1 dim_match re.match(r^(\d)\s(\d)\s$, pfm_file.readline().decode(utf-8)) if dim_match: width, height map(int, dim_match.groups()) else: raise Exception(Malformed PFM header.) scale float(pfm_file.readline().decode().rstrip()) if scale 0: endian # little endian scale -scale else: endian # big endian disparity np.fromfile(pfm_file, endian f) img np.reshape(disparity, newshape(height, width, channels)) img np.flipud(img).astype(uint8) return disparity, [(height, width, channels), scale]这个函数有几个关键点需要注意使用二进制模式(rb)打开文件逐行解析文件头信息根据缩放因子的正负确定字节序使用numpy的fromfile函数读取二进制数据最后需要对图像进行垂直翻转(np.flipud)因为PFM文件的存储顺序是从下到上的在实际使用中我发现PFM文件的读取速度比普通图像格式慢很多特别是对于大尺寸图像。如果需要对同一文件多次读取建议先将数据缓存起来。4. 深度图生成实战4.1 视差转深度原理从视差图计算深度图的基本公式是Z (baseline * f) / (d/|scale| doffs)其中Z是深度值baseline是基线长度两个相机之间的距离f是焦距d是视差值scale是PFM文件的缩放因子doffs是主点偏移量在MiddleBury数据集中这些参数都可以从calib.txt文件中获取cam0[1758.23 0 953.34; 0 1758.23 552.29; 0 0 1] cam1[1758.23 0 953.34; 0 1758.23 552.29; 0 0 1] doffs0 baseline111.53 width1920 height1080 ndisp290 isint0 vmin75 vmax2624.2 Python实现深度图生成基于上述原理我们可以实现深度图生成的完整代码def create_depth_map(pfm_file_path, calibNone): disparity, [shape, scale] read_pfm(pfm_file_path) if calib is None: raise Exception(Loss calibration information.) else: fx float(calib[cam0].split( )[0].lstrip([)) base_line float(calib[baseline]) doffs float(calib[doffs]) depth_map fx * base_line / (disparity / scale doffs) depth_map np.reshape(depth_map, newshapeshape) depth_map np.flipud(depth_map).astype(uint8) return depth_map这段代码的关键步骤读取PFM文件获取视差图从校准文件中提取焦距(fx)、基线长度(base_line)和主点偏移(doffs)应用视差-深度转换公式调整数据形状和方向我在实际使用中发现深度图的质量很大程度上取决于视差图的精度。MiddleBury提供的视差图质量很高但如果是自己生成的视差图可能需要额外的后处理来消除噪声和异常值。4.3 结果可视化为了直观地查看生成的深度图我们可以使用OpenCV的显示功能def show(img, win_nameimage): if img is None: raise Exception(Cant display an empty image.) else: cv2.namedWindow(win_name, cv2.WINDOW_NORMAL) cv2.imshow(win_name, img) cv2.waitKey() cv2.destroyWindow(win_name)使用时只需要将深度图传递给这个函数depth_map create_depth_map(disp0.pfm, calib) show(depth_map, depth_map)对于更好的可视化效果建议对深度值进行归一化或者应用颜色映射。OpenCV的applyColorMap函数可以很方便地实现这一点depth_colormap cv2.applyColorMap(depth_map, cv2.COLORMAP_JET) show(depth_colormap, depth_colormap)在处理多个数据集时我发现不同场景的深度范围差异很大直接可视化可能效果不好。这时候可以先统计深度值的分布然后根据百分位进行裁剪这样可以获得更好的显示效果。