1. 从“拼图游戏”到工业视觉为什么你需要了解图像拼接如果你玩过拼图游戏或者用手机App把几张照片拼成一张长图那你对“图像拼接”这个概念一定不陌生。在工业视觉和图像处理领域这种需求同样普遍甚至更为关键。想象一下你的相机视野有限但需要检测一个很长的产品或者你有多个相机从不同角度拍摄需要把它们的画面“缝合”起来看整体。这时候你就需要图像拼接技术。在Halcon这个强大的机器视觉库中tile_images和tile_images_offset就是专门用来做这种“简单粗暴”拼接的两个算子。我之所以说“简单粗暴”是因为它们不负责复杂的图像融合、对齐或色彩平衡——那些是mosaic或gen_projective_mosaic等高级算子干的事。tile_images系列算子只管一件事把几张图按照你指定的顺序和位置规规矩矩地摆放到一张更大的“画布”上。这听起来简单但在实际项目中这种基础的、可控的拼接方式恰恰是解决很多问题的利器。很多新手可能会觉得拼接嘛不就是把图挨着放吗用tile_images指定几行几列不就行了但实际干起活来你会发现需求千变万化有的图需要上下错开有的图之间要留出缝隙做标记有的甚至需要部分重叠。这时候只会用tile_images就捉襟见肘了你必须请出更灵活的tile_images_offset。这两个算子一个像“自动排版”一个像“手动精修”结合起来才能应对各种刁钻的场景。接下来我就结合自己踩过的坑和项目经验带你彻底搞懂这两个算子。我会从最基础的“自动排版”开始再到自由度极高的“手动精修”最后分享几个实战中特别有用的技巧和避坑指南。无论你是刚接触Halcon还是想更深入地掌握图像预处理技巧这篇文章都能给你实实在在的帮助。2. 基础入门用tile_images实现“自动排版”式拼接我们先从简单的开始。tile_images算子就像是一个自动排版工具你只需要告诉它我有多少张图你想把它们排成几列以及按什么方向先排满行还是先排满列来排。剩下的它帮你搞定。2.1 算子参数详解与核心逻辑tile_images的算子签名是这样的tile_images(Images : TiledImage : NumColumns, TileOrder : )别看参数少每个都至关重要。Images (输入)这是一个图像对象元组。简单说就是你要拼接的所有图片的集合。你不能一张一张图往里喂必须先把它们打包成一个“图片包”。在Halcon中我们通常用gen_empty_obj创建一个空对象然后用concat_obj把一张张图加进去最终形成这个元组。这是使用这个算子的第一步也是新手最容易出错的地方——直接传入单张图像对象是行不通的。TiledImage (输出)拼接完成后的大图。NumColumns (输入)最终拼图的列数。这是核心参数之一。它决定了你的画布被分成几列。注意它不是“拼成几列图”而是画布的网格列数。行数会根据图片总数和列数自动计算。TileOrder (输入)子图的排列顺序。有两个可选值vertical垂直优先。想象一下写字从左到右写满一行再换到下一行继续从左到右写。这是最常用的顺序。horizontal水平优先。想象一下读书从上到下读满一列再换到右边一列继续从上到下读。这种顺序在某些特定布局下有用。它的工作逻辑非常直观算子根据NumColumns创建一个隐形的网格然后按照TileOrder指定的顺序把Images元组里的图片一张一张地放入网格的每个单元格中。每个单元格的大小会自动适配当前要放入的那张图的尺寸。最终大图的尺寸就是所有行高和列宽的最大值之和。2.2 四种经典布局实战演示光说不练假把式我们直接上代码看效果。假设我们有四张大小相同的图片Image1, Image2, Image3, Image4。首先我们必须创建图像元组* 读取四张示例图片 read_image (Image1, part_01.png) read_image (Image2, part_02.png) read_image (Image3, part_03.png) read_image (Image4, part_04.png) * 获取其中一张图的尺寸作为参考假设所有图一样大 get_image_size (Image2, Width, Height) * 创建空的图像对象并依次将图片添加进去形成元组 Images gen_empty_obj (Images) concat_obj (Images, Image1, Images) concat_obj (Images, Image2, Images) concat_obj (Images, Image3, Images) concat_obj (Images, Image4, Images)好了现在Images这个“图片包”里装了四张图顺序是1, 2, 3, 4。接下来我们玩转NumColumns和TileOrder。场景一3列垂直优先排列 (NumColumns3, TileOrdervertical)tile_images (Images, TiledImage_3col_vert, 3, vertical)这会生成一个3列的网格。四张图按垂直优先顺序摆放Image1 放入第1行第1列。Image2 放入第1行第2列。Image3 放入第1行第3列。Image4 放入第2行第1列因为第一行只有3列放满了就换行。 最终得到的是一个2行3列的拼图最后右下角两个位置是空的。这种布局适合图片数量略多于列数最后一行不满的情况。场景二2列垂直优先排列 (NumColumns2, TileOrdervertical)tile_images (Images, TiledImage_2col_vert, 2, vertical)生成2列网格。四张图垂直优先摆放Image1 - (1,1)Image2 - (1,2)Image3 - (2,1)Image4 - (2,2) 最终得到一个完美的2行2列2x2网格拼图没有空缺。这是非常规整的布局。场景三3列水平优先排列 (NumColumns3, TileOrderhorizontal)tile_images (Images, TiledImage_3col_hori, 3, horizontal)还是3列网格但顺序变了变成水平优先Image1 放入第1列第1行。Image2 放入第1列第2行。Image3 放入第1列第3行。Image4 放入第2列第1行。 这会得到一个3行2列的拼图不对这里有个关键点网格的列数NumColumns是固定的3列但行数由排列顺序和图片数决定。水平优先时它会先试图填满第一列再填第二列。由于我们有4张图而NumColumns3这意味着网格总共有3列。当水平优先排列时第一列会尝试放下所有图但显然放不下实际上它会根据情况计算行数。对于4张图3列的情况更可能的结果是生成一个2行3列的布局但图片的填充顺序不同。实际测试中TileOrder在列数不整除图片数时的影响可能不如想象中直观最佳方式是亲自运行对比观察Image4的位置变化。场景四2列水平优先排列 (NumColumns2, TileOrderhorizontal)tile_images (Images, TiledImage_2col_hori, 2, horizontal)2列网格水平优先Image1 - (1,1)Image2 - (2,1) // 填第一列Image3 - (1,2) // 换到第二列Image4 - (2,2) // 填第二列 最终得到一个2行2列的拼图但图片的顺序矩阵是[[1,3], [2,4]]与垂直优先的[[1,2], [3,4]]完全不同。注意tile_images的TileOrder参数在图片总数能被NumColumns整除时‘vertical’和‘horizontal’的效果是转置关系。但当不能整除时行为需要根据实际测试确认。我个人的经验是在绝大多数期望规整网格布局的情况下使用‘vertical’即可它的行为最符合直觉。2.3 优势、局限与适用场景tile_images的优势非常明显简单、快捷、自动化。你不需要关心每张图的具体位置和最终画布大小算子全帮你算好了。这对于快速查看多张图片结果、生成规则的产品阵列图如芯片晶圆图等场景非常方便。但它也有致命的局限所有图片必须紧密排列无法控制间距和重叠。也就是说它只能做“无缝拼接”。如果你想在图片之间留条黑边做分隔或者想把第二张图往下挪100个像素tile_images就无能为力了。这时候我们就需要更强大的工具——tile_images_offset。3. 进阶掌控用tile_images_offset实现“手动精修”式自由拼接如果说tile_images是自动挡汽车那tile_images_offset就是手动挡甚至可以说是赛车模拟器。它把每一张图的位置控制权完全交给了你。你可以实现任意偏移、留白、重叠真正做到“指哪打哪”。3.1 算子参数全解析tile_images_offset的算子签名看起来有点吓人tile_images_offset(Images : TiledImage : OffsetRow, OffsetCol, Row1, Col1, Row2, Col2, Width, Height : )别怕我们一个个拆解。它的核心思想是你为Images元组里的每一张图指定其左上角顶点在大图画布上的坐标(行, 列)然后指定最终画布的宽高。Images (输入)同上图像对象元组。TiledImage (输出)拼接后的大图。OffsetRow (输入)一个元组指定每张图左上角的行坐标。元组长度必须等于图像数量。例如[0, 100, 200]表示第一张图从画布第0行开始第二张图从第100行开始第三张图从第200行开始。OffsetCol (输入)一个元组指定每张图左上角的列坐标。元组长度必须等于图像数量。例如[0, 0, 50]表示第一、二张图从画布第0列开始第三张图从第50列开始。Row1, Col1, Row2, Col2 (输入)这四个参数都是元组分别用于指定每张图的一个“有效区域”的左上角和右下角坐标。在绝大多数简单拼接场景下你完全不需要它们直接全部设为-1即可。-1是Halcon中的默认值表示使用整张图。它们主要用于当你只想拼接每张图的某个矩形区域时。Width, Height (输入)最终输出大图的宽度和高度。这是关键你必须提前计算好。如果设小了图片超出部分会被裁剪如果设大了画布边缘会有空白。通常你需要根据所有图片的位置和自身尺寸来计算。3.2 从简单到复杂偏移拼接实战我们先用两张图做个最简单的例子上下拼接。read_image (ImageA, top.png) read_image (ImageB, bottom.png) get_image_size (ImageA, Width, Height) gen_empty_obj (imgs) concat_obj (imgs, ImageA, imgs) concat_obj (imgs, ImageB, imgs) * 关键参数设置 * OffsetRow: [0, Height] - 图A从第0行开始图B从第Height行开始紧挨着图A下方 * OffsetCol: [0, 0] - 图A和图B都从第0列开始左对齐 * Row1等: 全部-1用整张图 * Width: Width - 大图宽度和单张图一样 * Height: Height * 2 - 大图高度是两张图高度之和 tile_images_offset (imgs, TiledImage_AB, [0, Height], [0,0], [-1,-1], [-1,-1], [-1,-1], [-1,-1], Width, Height * 2)这就实现了一个完美的上下无缝拼接。效果和tile_images两行一列类似但逻辑完全不同这里是我们显式地指定了第二张图应该放在(Height, 0)的位置。现在我们来玩点tile_images做不到的有缝拼接。比如我们想在上下两张图之间留出20个像素的黑色间隙。tile_images_offset (imgs, TiledImage_AB_gap, [0, Height20], [0,0], [-1,-1], [-1,-1], [-1,-1], [-1,-1], Width, Height * 2 20)看只需要把图B的起始行从Height改成Height20同时把最终画布的高度Height * 2相应地增加20像素即可。就这么简单你可以轻松留出任意宽度的缝隙用于添加标注、分隔线或者仅仅是让布局更美观。再来个更自由的错位拼接。让图B在垂直方向紧挨图A但在水平方向向右偏移100像素。tile_images_offset (imgs, TiledImage_AB_offset, [0, Height], [0, 100], [-1,-1], [-1,-1], [-1,-1], [-1,-1], Width100, Height * 2)注意因为图B向右偏移了最终画布的宽度也需要增加100Width100否则图B的右边部分会被切掉。3.3 处理多张图与计算画布尺寸当图片数量增多时手动计算每个偏移量和最终画布大小会变得繁琐。这时我们需要一点编程思维。假设我们要将三张图垂直堆叠每张图之间留10像素的缝隙。read_image (Img1, img1.png) read_image (Img2, img2.png) read_image (Img3, img3.png) get_image_size (Img1, W, H) gen_empty_obj (AllImgs) concat_obj (AllImgs, Img1, AllImgs) concat_obj (AllImgs, Img2, AllImgs) concat_obj (AllImgs, Img3, AllImgs) gap : 10 num_imgs : 3 * 计算每张图的起始行坐标 OffsetRow : [] for i : 0 to num_imgs-1 by 1 OffsetRow : [OffsetRow, i * (H gap)] endfor * 所有图左对齐所以列坐标都是0 OffsetCol : [0,0,0] * 计算最终画布尺寸宽度不变高度 图片总高度 缝隙总高度 TotalHeight : num_imgs * H (num_imgs - 1) * gap tile_images_offset (AllImgs, TiledResult, OffsetRow, OffsetCol, [-1,-1,-1], [-1,-1,-1], [-1,-1,-1], [-1,-1,-1], W, TotalHeight)通过一个简单的循环我们就能动态生成偏移量元组。对于更复杂的二维网格带偏移的布局可能需要双层循环来计算每个图片的行列坐标。这里的关键是最终画布的Width和Height必须是所有图片经过偏移后所占区域的最大外包矩形的尺寸。计算这个尺寸是使用tile_images_offset时必须完成的功课。4. 实战技巧与避坑指南掌握了基本操作我们来看看在实际项目中如何灵活运用这两个算子以及有哪些容易踩的坑。4.1 混合使用策略先自动后微调很多时候我们并不是非此即彼。一个高效的策略是先用tile_images快速得到一个基准布局再用tile_images_offset进行局部微调。例如你需要将9张图排成3x3网格但希望中间那张图第5张的四周比其他图多出一些空白。你可以先用tile_images(Images, BaseImage, 3, vertical)得到标准3x3网格拼接图。获取BaseImage的尺寸以及每个网格单元格的预估位置和尺寸这需要一些计算或者你知道原始小图尺寸。重新定义OffsetRow和OffsetCol将前4张、第6-9张图的位置设为标准网格位置而将第5张图的位置行列值适当增加并在计算最终画布Width和Height时加上额外的空白区域。这种方法结合了自动化的便利和手动调整的精确。4.2 性能与内存考量大图拼接拼接高分辨率图像会消耗大量内存。在拼接前如果条件允许可以考虑使用zoom_image_factor或crop_part先对图像进行缩放或裁剪减少数据量。通道数一致确保要拼接的所有图像具有相同的通道数都是灰度图或都是RGB图。混合通道类型的图像可能导致未定义行为或错误。concat_obj的效率在循环中多次调用concat_obj来构建大型图像元组可能不是最高效的。如果图像路径已知一种更高效的方式是使用read_image直接读取到一个图像数组中在某些Halcon接口中支持。但在HDevelop或常用Halcon C/C#接口中使用concat_obj是标准做法。4.3 常见错误与调试方法错误“Wrong number of values of control parameter OffsetRow”原因OffsetRow或OffsetCol元组的长度与Images元组中的图像数量不一致。解决在调用tile_images_offset前使用count_obj(Images, Num)获取图像数量并确保你的偏移量元组长度等于Num。错误拼接结果图片被裁剪或画布过大留白过多原因Width和Height参数设置不当。调试在设置偏移量后手动计算每张图的虚拟边界。对于第i张图假设其自身宽高为w_i,h_i偏移量为(row_i, col_i)。则该图的右下角在画布上的理论位置为(row_i h_i - 1, col_i w_i - 1)。遍历所有图片找出所有col_i w_i的最大值即为所需的最小画布Width。找出所有row_i h_i的最大值即为所需的最小画布Height。将计算出的Width和Height作为参数传入。拼接后图像颜色或亮度看起来异常原因tile_images和tile_images_offset只进行空间上的排列不进行任何像素值的融合、插值或色彩平衡。如果源图像本身的亮度、对比度不一致拼在一起就会显得突兀。解决这超出了这两个算子的能力范围。如果需要对图像进行预处理应在拼接前使用如scale_image、equ_histo_image等算子进行归一化处理。5. 超越简单拼接在复杂项目中的创造性应用掌握了基础我们可以看看这两个算子如何解决一些更有趣的问题。5.1 创建带比例尺和标注的比对图在缺陷检测或质量报告中经常需要将OK样品图和NG缺陷图拼在一起比对。使用tile_images_offset你可以轻松实现如下布局[OK图] [NG图] [放大局部缺陷区域] [文字说明与测量数据]你可以将OK图、NG图、从NG图中crop_part出来的局部放大图以及甚至是用gen_text算子生成的文字图像需要先转换为像素图像作为不同的“图片”通过精确计算偏移量拼接到一张大图中生成一份完整的检测报告图。5.2 模拟相机阵列或运动扫描假设你有一个产品在传送带上匀速运动固定相机每隔一定时间拍摄一张。你得到了N张部分重叠的图片。虽然完美的拼接需要特征匹配和图像融合但如果你只需要一个快速的、直观的预览来查看整体情况tile_images_offset可以大显身手。你可以根据传送带速度和拍摄间隔计算出每张图相对于第一张图的粗略像素偏移量假设相机垂直于传送带。然后使用这些计算出的偏移量进行拼接。虽然边缘可能对不齐但你能立刻得到一个产品全长度的近似图像对于快速判断和调试非常有帮助。5.3 与ROI感兴趣区域结合使用tile_images_offset的Row1, Col1, Row2, Col2参数虽然通常设为-1但在特定场景下很有用。比如你有若干张图每张图里只有一个特定的部件是你关心的。你可以先用其他方法如阈值分割、模板匹配找到每个部件所在的矩形区域ROI然后将这些ROI的坐标作为Row1, Col1, Row2, Col2参数。这样拼接的结果就不是整张图而是每张图中你关心的那个部件区域的集合非常便于集中观察和比较。图像拼接远不止是把图摆在一起。tile_images提供了快速规整化的能力而tile_images_offset则赋予了像素级精确定位的自由。从自动化报告生成到多视角数据预览这两个基础算子能组合出强大的工作流。我自己的经验是在编写任何复杂的视觉程序之前先花点时间用它们把中间处理结果的图像拼起来看看往往是调试和验证逻辑最快最直观的方式。下次当你面对一堆需要整理的图像时别急着写复杂循环去手动粘贴试试这两个算子你会发现它们比想象中更管用。