1. 摘要多视图机器人数据的全局对准是一项具有挑战性的任务。基于外观的全局定位方法通常在视点发生剧烈变化时失败因为表示具有有限的视点不变性。本文基于这样一个想法即人造环境包含丰富的语义可以用来消除全局定位的歧义。在这里我们介绍了X-View一个多视图语义全局定位系统。X-View利用语义图描述符匹配进行全局定位支持在完全不同的视点下进行定位。虽然该方法在语义输入数据方面是通用的但我们提出并评估了一个基于可视数据的实现。我们在公开的SYNTHIA数据集、用模拟器记录的真实城市数据集和真实世界街景数据上进行了实验演示了该系统。我们的研究结果表明X-View能够在全局范围内定位空中对地和地面对地机器人的数据这些数据的视点完全不同。我们的方法在多视图情况下实现了高达85%的全局定位精度而基于基准基线外观的方法达到了70%。2. 代码地址作者声称要开源但从未上传代码https://github.com/ethz-asl/x-view3. 引言异构机器人之间的全局定位是经典位置识别方法的难题。基于视觉外观的方法如[1, 2]是目前最有效的重新定位方法之一。然而由于不同的时间、天气、季节和视角它们往往会随着外观的变化而显著退化[3, 4]。此外当使用不同的传感器模式时关键点提取成为一个问题因为它们是由不同的物理和几何特性生成的例如图像中的强度梯度与点云中的高曲率区域。另一方面依靠直接来自测量或重建算法的几何信息对视点变化、季节变化和不同传感器模式表现出更强的鲁棒性。然而几何方法通常不能很好地扩展到非常大的环境中而且如果能够补偿非常强的视点变化同时只保持本地化查询和数据库之间的有限重叠这仍然是个问题[5, 6]。解决外观和视点变化的另一个途径是用于位置识别的卷积神经网络 (CNN) 结构[4, 7]。虽然这些方法在外观变化下表现出很强的性能但在极端视点变化下它们的性能仍有待研究。最近作为一种有效编码多个局部视觉特征之间关系的方法全局定位的拓扑方法重新引起了人们的兴趣[8, 9]。另一方面计算机视觉界在语义分割和分类方面取得了巨大进展产生了从视觉和深度数据中提取语义的工具 [10-12]。基于语义有助于减轻外观变化影响的假设我们提出了一种新的基于语义图的全局定位方法X-View。X-View引入了图形描述符可以有效地表示语义对象的独特拓扑。这些可以在低得多的计算工作量下进行匹配因此不需要进行穷举子图匹配[13]。通过使用语义作为机器人视点之间的抽象我们实现了对剧烈的视角变化的不变性优于基于RGB数据的CNN技术。此外通过对场景的语义理解可以自然地从定位中排除不需要的元素例如移动对象。我们在真实和模拟城市室外环境的公开数据集上评估了我们的全局定位算法并报告了我们在剧烈的视角变化下的定位结果。具体而言本文提出了以下贡献一种新颖的语义拓扑图表示法。引入基于随机行走的图形描述符可与已建立的匹配方法有效匹配。将语义分割图像处理为全局定位的完整通道。X-View算法的开源实现。对公开数据集进行实验评估。4. 相关工作在本节中我们回顾了与我们提出的系统相关的多机器人全局定位的最新进展。一种常用的全局定位方法是视觉特征匹配。在过去的十年中提出了大量的方法在感知相似的条件下提供可靠的性能。一些扩展已经被提出来克服感知困难的情况如季节变化光照变化或使用CNN地标的不同视角。然而极端的视点不变性大于90度例如空中和地面机器人的视点之间的不变性仍然是基于外观技术的一个极具挑战性的问题。在本文之前的工作中演示了有效的基于3D结构描述符重叠的3D het-同质地图聚合方法这些方法来自于相机和激光雷达数据的不同视点。然而三维重建仍然是强烈的视点依赖。虽然这些技术不依赖于场景的特定语义信息但对大型环境的扩展还没有进行研究而且计算时间超出了大型地图的实时性能。其他的全局定位方法还有基于拓扑映射的进行定位。这里映射表示为唯一顶点V和边E编码顶点之间关系的图。这些工作的重点是通过穷举的顶点匹配图合并子图换言之图较小但他们没有考虑从感觉数据 (sensory data) 或模糊顶点 (ambiguous vertices) 提取图。此外这种计算代价高昂的匹配不能扩展到更大的图比较。随着基于机器学习的语义提取方法的发展使用语义进行定位是一个很有前途的尝试。使用期望最大化(EM)进行语义定位的数据关联问题以及将语义约束的位姿估计问题作为错误最小化的公式也是当前研究的热点。语义提取是基于一个标准一般特征点的目标检测。Stumm等人建议使用图核在特征点描述符上进行位置识别。图核用于将图像的共可见性图投影到特征空间中。图形描述子可以有效地对多个描述子进行有意义的聚类从而提高定位性能。然而使用大型密集连通图限制了图表示方法的选择。基于这些发现我们建议在稀疏语义图上使用图描述子进行全局定位。5. X-VIEW在本节中本文主要介绍了基于图的多视图语义全局定位系统X-View。它利用了从语义输入数据中提取图和使用图描述子进行图匹配。图2说明了所提出的全局定位算法的架构重点讨论了查询语义输入数据与全局图的图表示和匹配。定位目标图表示为全局图。X-View被设计用来操作任何给定的里程估计系统和语义输入提示。然而为了清晰起见我们将我们的系统描述为为语义分割图像而实现的但并不仅限于此。5.1. 系统输入我们使用包含像素语义分类的语义分割图像作为定位算法的输入。这些分割可以使用语义分割方法实现如[11, 12]。此外可以考虑使用实例分割即用于分离图像空间中相同类别的重叠对象的唯一标识符来改进分割但对于该方法的工作来说这并不是严格必要的。此外我们假设外部里程计系统的估计。最后我们还考虑了数据库语义图GDB因为它可以在我们的图生成算法的先前运行中建立和描述如在下一个子部分中所示。5.2. 图的提取和重建在这一步中我们将语义图像序列转换为查询图。我们提取连通区域的斑点即每个图像中具有相同类别标签的区域。由于语义分割图像通常显示观察场景的噪声分割孔洞、断开的边缘和边缘上的无效标签我们通过扩展和侵蚀每个斑点的边界来平滑它们。此外我们还拒绝包含在图形中的小于最小像素数的斑点以减轻小段的影响。该过程去除了语义分割图像中不需要的噪声。此操作的大小为4像素对分割结果的影响较小。然而它确保了语义段之间的清晰边界。此外斑点的中心位置被提取并与斑点标签一起存储为顶点。如果还可以使用实例分割则可以在blob提取步骤中考虑否则提取仅在类的基础上操作。顶点之间的无向边ej是在满足邻近性要求时形成的可以是图像空间或三维空间。在图像空间的情况下我们假设图像是在一个时间序列中以在几个输入数据帧上增长图。但是在3D情况下不需要这样做。使用深度通道或来自例如光流的深度估计可以在3D空间中形成邻域使用图像斑点的3D位置来计算欧氏距离。图3顶部中示出了用于图像数据的处理。然后通过使用欧几里德距离连接连续图像的顶点将多个图像图合并为见图3。为了防止相同语义实例的重复顶点中的闭合实例在顶点的第一次观察位置合并为单个顶点。这个将定点融合进他们第一次被观测到的位置的策略被连续的语义实例结构例如街道进一步激励。这一策略可以均匀间隔地在中创建连续的实体顶点。5.3. 描述子X-View的思想是语义图具有很高的描述能力在数据库图中定位子图可以产生良好的定位结果。然而由于子图匹配是一个NP完全问题[13]在实时约束条件下即对于典型的机器人应用以秒为单位需要不同的机制来执行描述图的生成。在这项工作中我们为图[23]的每个节点提取随机游走描述符并在后续步骤中匹配它们。这样做的优点是在给定静态或增长数据库图的情况下描述符可以在恒定或线性时间内提取和匹配。每个顶点描述符是一个n×m矩阵由n个深度为m的随机游走组成。每个随机游走从基本顶点vj开始并存储访问到的顶点的类标签。可以应用行走策略例如防止立即返回到上一步访问的顶点以及排除重复的随机行走以促进随机行走描述符的表达。随机游走描述符提取的过程如图4所示。5.4. 描述子匹配在和Gdb都被创建之后我们通过计算相应的图描述符之间的相似性得分来发现查询图中的顶点和数据库图中的顶点之间的关联。相似性度量是通过将查询顶点的语义描述符的每一行与数据库顶点的描述符相匹配来计算的。两个描述符上相同的随机游动数反映了相似性得分s该分数在0和1之间进行归一化。在第二步中选择相似度得分最高的k个匹配项来估计查询图在数据库映射中的位置。5.5. 定位后端查询图和全局图之间的匹配、机器人到顶点的观测以及机器人里程测量结果在位置机器人位姿约束测量误差和相关信息矩阵Ω我具体而言这三种类型的约束表示分别表示为。匹配约束源自上一步的语义描述符匹配而机器人里程计约束是使用与定位图关联的连续机器人姿势之间的机器人估计里程计创建的。机器人到顶点约束编码每个机器人到顶点观测之间的转换。利用这些约束我们通过最小化负对数后验EPθi来计算机器人姿势ci的最大后验概率 (MAP) 估计6. 实验参考文献X-View: Graph-Based Semantic Multi-View Localization_酒仙熊猫o的博客-CSDN博客_x-viewSLAM论文笔记X-View - 知乎X-View: Graph-Based Semantic Multi-View Localization