Odd-One-Out: Anomaly Detection by Comparing with Neighbors无监督多视图场景中的细粒度异常检测旨在从一组相似对象中识别出“外观异常”的个体实例。传统方法面临三大核心挑战依赖固定正常性假设标准AD设定假定存在全局一致的“正常”模式无法应对场景内相对定义的异常。缺乏跨实例比较能力现有模型难以建模对象间的细微差异如裂纹、错位尤其当这些异常仅在特定视角可见时。对遮挡和几何歧义鲁棒性差单视角输入限制了对复杂形变或局部缺陷的有效感知。本文提出Odd-One-Out框架在ToysAD-8K上达到AUROC89.15%超越基线方法最高达16.29个百分点。图1. (a) 提出了一项新型异常检测任务专注于识别场景中与其他实例相比具有“异常外观”的物体。该任务灵感源自生产环境中的实际质量控制场景旨在检测制造样本组中几何形状与纹理的细微差异包括裂纹、断裂等缺陷特征。(b) 本研究采用场景特定化设置需要对输入场景中的物体实例进行多场景比对这与仅需单一物体作为输入的标准异常检测场景存在显著差异。(c) 基于匹配机制的检测范式实现了跨类别性能表现核心贡献本文核心贡献包括首个完全无监督多实例对比范式解决“固定正常性假设”问题 —— 在ToysAD-8K-Unseen上AUROC达89.15%。引入多视角3D特征体积构建模块增强遮挡下异常感知能力 —— 支持任意视角下的细粒度匹配。提出DINOv2蒸馏驱动的部件感知表示机制提升局部对应一致性 —— 特征匹配精度提高约7.6%。设计稀疏体素注意力机制进行跨实例匹配避免噪声干扰 —— 减少误检率约3.1%。发布两个新基准数据集ToysAD-8K与PartsAD-15K推动该领域研究标准化。相关工作综述(一) 学习范式局限现有方法主要包括[重构类方法]如COLMAP Siamese网络其核心思想是通过点云重建衡量异常程度但局限在于重建质量易受视角数量影响及无法捕捉对象间细微差异。→ 本文改进采用多视图投影融合稀疏注意力实现精确跨实例匹配。(二) 多视图处理不足现有方法还包括[多视角3D检测器]如ImVoxelNet、DETR3D其核心思路是对每个对象独立分类但局限在于忽视同类对象之间的上下文关系和难以区分微小形变与正常变化。→ 本文改进通过DINOv2引导的神经场渲染强化3D表征一致性支持更精细的对象级比对。方法论详解图2. 框架架构概述。首先通过二维卷积神经网络2D CNN从输入视图序列中提取特征并将其反投影至三维空间体随后通过三维卷积神经网络3D CNN进行优化处理最终生成特征向量Fv。接着我们提取以物体为中心的特征体{zn}n1将其输入跨实例匹配模块利用稀疏体素注意力机制学习物体间的关联性。为提升场景的三维表征质量我们整合了二维视觉模型DINOv2的知识体系并通过可微分渲染技术将这些知识融入三维网络。该方法有助于构建具有部件感知能力和几何一致性特征表征。1. 多视角3D特征体积构建- 功能整合多个RGB图像视角生成统一的3D空间表示。- 机制使用共享ResNet50提取各视角2D特征后反投影至统一voxel网格并经3D CNN聚合优化。- 动机相比直接拼接或平均池化策略该方式能保留更多视角互补信息相较于纯2D方法更具遮挡容忍性。2. 基于DINOv2蒸馏的特征增强模块- 功能提升3D表征的语义丰富性和几何一致性。- 机制利用预训练DINOv2作为教师网络通过可微分渲染将2D视觉知识迁移至3D神经场。- 动机DINOv2具有强泛化能力和密集语义响应特性有助于建立稳健的局部对应关系PCA降维后通道数由原始高维降至128平衡表达力与效率。3. 对象中心特征抽取- 功能定位并提取场景中各个对象的局部3D特征块。- 机制基于预测密度图做DBSCAN聚类获得粗略边界框再通过RoI Pooling获取固定尺寸(8×8×8)的特征立方体。- 动机无需真实标注即可自动分割对象区域适配工业质检等无需人工干预的应用场景。4. 稀疏体素注意力跨实例匹配- 功能执行高效的对象间局部特征匹配以判断异常。- 机制计算每对对象之间top-k最相关voxel位置然后应用稀疏注意力机制加权融合邻近对象的信息。- 动机相比于全连接注意力稀疏形式减少了冗余交互带来的噪声污染同时聚焦真正相关的局部区域提升了判别准确性。实验与验证性能对比效率分析- 参数总量约为原生NeRF架构减少约40%推理速度达65ms/sceneA40 GPU。- 消融实验显示去除DINOv2蒸馏 → AUC ↓5.8%移除稀疏注意力 → AUC ↓2.1%。关键发现- 性能提升主要源于两方面一是DINOv2提供的语义一致性增强了局部匹配可靠性二是稀疏注意力机制有效抑制了非相关特征间的干扰。- 不同变体GCL_PT vs GCL_B表明结合part-aware表示的学习策略优于单纯依赖外观相似性的方法。结论与展望贡献重申提出全新多实例对比式异常检测任务。构建ToysAD-8K与PartsAD-15K两大公开数据集。实现SOTA性能ToysAD-8K AUROC89.15。未来方向探索动态阈值自适应调整策略引入时间序列建模处理动态异常演变扩展至软异常检测soft anomaly scoring部署轻量化版本用于边缘设备实时检测。局限性当前仅适用于刚体对象未考虑柔性变形在无明显异常长视频中可能误报稀有正常事件。