导读———————————————————————————————————————————现有零样本异常图像生成方法大多仅依赖文本提示引导扩散模型语义控制力有限生成的异常掩码精度也不够高。华中科技大学联合湖南大学、清华大学、中科院自动化所团队提出 Anomagic核心思路是跨模态提示编码——同时融合视觉参考异常图像掩码和文本描述来引导 Stable Diffusion 的修复式生成并通过对比式掩码精炼策略提升异常掩码的像素级精度。为支撑训练团队构建了AnomVerse数据集从13个公开数据集中汇集了12,987个异常-掩码-描述三元组覆盖131种缺陷类型和5大领域论文称其为目前同类最大的异常生成训练集。在VisA数据集上Anomagic的生成质量IS 2.16 / IL 0.39超越所有零样本和少样本方法集成到SOTA检测器INP-Former后P-F1达到54.00%超越少样本方法AnoGen52.61%。论文详情———————————————————————————————————————————论文标题Anomagic: Crossmodal Prompt-driven Zero-shot Anomaly Generation作者Yuxin Jiang, Wei Luo, Hui Zhang, Qiyu Chen, Haiming Yao, Weiming Shen, Yunkang Cao机构华中科技大学 / 湖南大学 / 清华大学 / 中国科学院自动化研究所代码https://github.com/yuxin-jiang/Anomagic一、零样本异常生成为什么需要跨模态提示———————————————————————————————————————————异常图像生成的目标是合成高质量的缺陷样本用于增强下游异常检测模型的训练。零样本方法不需要真实异常图像具有更强的实际适用性但面临两个核心挑战1.1 单模态提示的语义控制力不足目前最具代表性的零样本方法 AnomalyAny 仅通过文本提示操纵 Stable Diffusion 的注意力矩阵来生成异常。但文本提示受限于 CLIP 的 77 token 上限难以精确描述复杂缺陷的细节特征。同时纯文本引导缺乏对异常区域位置和形态的直接视觉参照导致生成结果在空间定位上不够精确。1.2 异常掩码精度不够异常生成不仅要产出逼真的异常图像还需要提供精确的像素级异常掩码——这对下游检测模型的训练至关重要。现有方法通常从注意力图或启发式后处理中提取掩码边界粗糙与实际异常区域对齐不佳。Anomagic 的解决思路(1) 引入跨模态提示编码CPE同时利用视觉参考异常图像掩码和文本描述构建联合条件为扩散模型提供更丰富、更精确的语义引导(2) 设计对比式异常掩码精炼策略通过比较输入正常图像和生成异常图像的像素级差异来获取精确掩码。二、AnomVerse数据集12,987个异常-掩码-描述三元组———————————————————————————————————————————训练跨模态异常生成模型需要大量的异常图像, 掩码, 文本描述三元组但现有公开数据集通常只有图像和掩码缺乏对异常的文本描述。Anomagic 团队构建了AnomVerse来填补这一空白。2.1 数据来源与规模AnomVerse 从13个公开数据集包括 MVTec AD、VisA、MANTA 等中汇集异常样本覆盖5大领域领域占比工业56.5%纺织23.6%消费品8.7%医学5.9%电子5.3%总计12,987 个样本涵盖131 种缺陷类型。相比此前最大的同类数据集 MMAD8,366 个样本AnomVerse 大了约 55%。2.2 文本描述的自动生成为每个异常样本生成结构化描述的流程视觉提示用异常掩码裁剪出最小包围框放大异常区域细节文本模板设计结构化描述模板——The image depicts [物体描述], with a [缺陷类型] observed [位置描述]. The defect is characterized by [详细描述] and exhibits [特征描述].MLLM 生成将裁剪后的视觉提示和模板输入多模态大模型Doubao-Seed-1.6-thinking自动生成每个样本的详细文本描述。这种视觉提示结构化模板MLLM的组合确保了描述的质量和一致性。三、Anomagic方法跨模态提示编码修复式生成对比掩码精炼———————————————————————————————————————————3.1 跨模态提示编码CPECPE 是 Anomagic 的核心模块从三元组异常参考图像 I^ref、掩码 M^ref、文本描述 t^ref中提取联合条件1区域聚焦视觉引导用预训练 CLIP 图像编码器提取参考异常图像的特征图 F然后通过区域聚焦注意力机制利用异常掩码 M^ref 抑制背景区域的注意力权重乘以大常数 C 做衰减使视觉特征聚焦于异常区域。2细粒度文本语义异常描述文本通常较长超过 CLIP 的 77 token 上限。Anomagic 采用分层编码策略将长文本切分为语义连贯的片段分别用 CLIP 文本编码器编码再通过 mean-pooling 聚合为全局文本嵌入 P_t保留长距离依赖。3跨模态融合视觉特征 P_v 和文本嵌入 P_t 通过模态专属交叉注意力块进行双向融合得到统一的跨模态条件 P_c作为扩散模型的输入条件。仅注意力模块和融合模块可训练CLIP 编码器冻结。3.2 修复式生成训练Anomagic 基于Stable Diffusion v1.5OpenCLIP ViT-H/14通过LoRA微调其交叉注意力层训练时从 AnomVerse 采样三元组对参考异常图像的掩码区域做膨胀得到修复掩码将正常区域遮盖后送入扩散模型损失函数仅在修复掩码区域计算模仿模型在掩码内生成与跨模态条件一致的异常掩码外保持原图推理时输入正常图像 随机掩码 从 AnomVerse 检索最相关的跨模态条件生成异常图像。3.3 对比式异常掩码精炼修复式生成保证了异常仅出现在掩码区域内但生成的异常可能未完全填满初始粗掩码。Anomagic引入对比精炼策略计算输入正常图像和生成图像异常的像素级差异使用预训练的MetaUAS模型检测两张图像之间的差异区域以0.9为阈值生成精炼后的二值掩码M_r。精炼后的掩码与生成的异常区域严格对齐为下游检测模型提供更准确的训练标注。3.4 推理流程用户只需提供一个简单的问题如“腰果中常见的缺陷有哪些”Anomagic 通过 MLLM 生成语义回复如“裂纹、孔洞、凸起、划痕”再从 AnomVerse 中检索最相关的三元组作为跨模态条件实现零样本异常生成。也支持用户自定义表单提示、文本提示或跨模态提示。四、实验生成质量与下游检测双重验证———————————————————————————————————————————4.1 生成异常质量论文在 VisA 数据集上评估生成质量IS 最小图像质量IL 即 Intra-Cluster LPIPS 最小多样性方法类型是伊利诺伊州AnoGen样本少2.100.39梦境零样本1.850.37RealNet零样本1.860.37异常零样本1.940.33异常的零样本2.160.39Anomagic 的 IS2.16为最高IL0.39与少样本方法 AnoGen 并列最高IS 超越 AnoGen2.10IS 比零样本第二名 AnomalyAny1.94高出0.22IL 高出0.06。4.2 下游异常检测性能论文采用了与常规方法不同的评估范式不用简单的U-Net检测器而是将生成的异常图像集成到当前SOTA检测方法INP-Former中进行训练增强在VisA上评估方法I-ROCI-F1专业版P-F1补丁核心95.1094.1091.2044.70RD4AD96.0094.3070.9042.60恐龙异常98.9096.2095.3048.60AnoGen少样本99.0996.5595.6252.61梦境99.0396.5895.5951.94RealNet99.0396.7595.7052.87异常99.0196.4895.5750.76异常的99.0896.7795.9254.00关键发现Anomagic的P-F1达到54.00%比少样本方法AnoGen的52.61%高出1.39%比零样本方法AnomalyAny的50.76%高出3.24%PRO达到95.92%为所有方法中最高I-F1达到96.77%同样最高论文特别指出Anomagic 是零样本方法但却在 P-F1 和 PRO 上超越了使用真实异常图像训练的 AnoGen。4.3 消融实验CPE 和 LoRA 的贡献VisA 上 INP-Former 增强后CPE罗拉是伊利诺伊州I-ROCI-F1专业版P-F1——1.850.37599.0396.5895.5951.94✓—2.160.39499.0496.7195.8853.87✓✓2.160.39499.0796.7795.9254.00基线无CPE无LoRA即为DRAEM的水平加入CPE后IS从1.85提升至2.160.31P-F1从51.94%提升至53.87%1.93%说明跨模态提示编码是生成质量提升的核心驱动力加入LoRA后P-F1进一步提升至54.00%0.13%收益相对较小但正向贡献增加。4.4 生成效率方法单张生成时间硬件异常〜3分钟—异常的~1.2秒A100 GPUAnomagic的端到端生成精度包括异常生成和掩码精炼在512×512分辨率下约1.2秒比AnomalyAny快约150倍。五、总结与思考———————————————————————————————————————————论文贡献Anomagic 提出了跨模态驱动提示的零样本异常生成框架CPE模块边界融合和文本描述构建联合条件修复式扩散生成在掩码内合成异常对比掩码精炼策略提升掩码准确性。连接的AnomVerse数据集12,987个三元组131种缺陷13个来源数据集为跨模态异常生成训练提供了参考基础。在VisA上集成到INP-Former之后P-F1达到54.00%在P-F1、PRO、I-F1上超越所有零样本和少样本基线。几点思考1.跨模态与单模态提示的本质差异与近似文本工作AnoStyler纯驱动风格迁移相比Anomagic的核心差异引入了视觉作为附加条件。这使得生成的异常不仅在图像上与文本一致还在纹理、形态上与异常图像相似。代价是需要AnomVerse这样的三元组数据集作为库而AnoStyler拓扑标签和缺陷类型文本。两种方案各有参考适用场景有参考异常库时使用Anomagic效果更好完全从零开始时AnoStyler 更灵活。2. 评估范式的差异含义Anomagic选择将生成的异常集成到SOTA检测器INP-Former中评估而不是用简单的U-Net检测器AnoStyler等方法的评估方式。这意味着Anomagic和AnoStyler的下游检测数据不能直接横向对比——检测器的基础能力不同提升幅度的意义也不同。的评估范式更接近实际应用场景增强以往的强检测器但也使得方法间的纯生成质量贡献更难分割。3.AnomVerse的价值社区12,987个带构造文本描述训练的异常三元组覆盖131种缺陷类型是目前同类最大的数据集。这不仅服务于Anomagic的也为其他需要异常文本描述的研究如多模态异常检测、异常相关的VQA提供了基础资源。4.生成速度的工程意义1.2 秒/张 vs AnomalyAny 的 3 分钟/张150 倍的速度差异在工业场景中具有意义——批量生成数千张训练样本时Anomagic 完成瞬间而 AnomalyAny 需要数天。