AI 生成图像、AI 编造文本、图文协同伪造……今天的多模态虚假内容已经越来越复杂。面对训练中没见过的新新闻域、新操纵方式、新组合套路很多现有鉴伪模型往往就开始“掉链子”。问题的关键不只是伪造更多了而是模型学到的东西太像“背答案”它们会判断真假却没有真正学会沿着证据链分析“为什么是假”。西安交通大学、合肥工业大学与澳门大学的研究团队在 ACL 2026 上提出了一套新的推理驱动多模态鉴伪框架。论文、模型与数据集共同指向一个核心目标让多模态鉴伪在面对未见伪造时不再无从下手。论文名称Cultivating Forensic Reasoning for Generalizable Multimodal Manipulation Detection论文链接https://arxiv.org/abs/2603.01993代码 数据集https://github.com/YcZhangSing/REFORM新困局为什么一遇到未见伪造很多模型就容易失灵不止是“识别难”更是“泛化难”只看结果学不会逻辑。现有很多方法直接把图文输入映射到真假标签或操纵类别容易拟合训练集中的表面特征却没有真正学到可迁移的法证逻辑。一换场景性能就掉。当新闻域变化、操纵模式变化甚至伪造从人脸级扩展到场景级时只靠结果监督训练出来的模型往往泛化不足。真正缺的是证据链推理。论文指出模型不应只会输出结论更应像法证分析员一样根据图像异常、文本异常或者图文冲突仔细推理做出判断。〓 图1泛化困局——结果导向a和推理驱动b的训练范式的对比新基准 ROM让模型在更复杂、更真实的伪造里训练想解决泛化失灵先要有更接近真实世界的数据。〓 图2新基准——涵盖 9 个伪造场景的大规模数据集 ROM规模更大。ROM 数据集包含 704,456 条图文样本覆盖 5 个新闻域为多模态伪造检测与泛化评估提供了大规模基础。类型更杂。ROM 不只包含人脸属性篡改、换脸和文本伪造还包含背景替换、整图生成及其复合形式更贴近真实世界中五花八门的未见伪造。监督更深。除了真假与类别标签ROM 还提供详细推理标注让模型不只是学“答案”而是学“证据链怎么走”。〓 图3推理标注提供更丰富的监督信号「证链侦探」REFORM 框架给多模态鉴伪装上真正能迁移的“推理脑”不是只做分类器而是训练一个会顺着证据链办案的鉴伪系统。先找线索。框架通过 Cognitive Priming 模块从图像与文本中提取与伪造相关的关键痕迹先把“可疑信息”聚焦出来。再给结论。模型采用双解码器结构一路输出真假、伪造类型和定位结果另一路生成法证推理文本让判断建立在证据链上。最后练泛化。整个训练流程分三阶段推进先学习推理再联合优化答案与推理一致性最后用 GRPO 强化学习进一步约束逻辑一致性。〓 图4新方法——「证链侦探」REFORM 的框架概述实验结果面对未见伪造「证链侦探」更稳推理驱动带来的不只是解释能力更是更强的跨域与未见攻击泛化。ROM 上全面领先。在跨域测试中REFORM 在 Guardian 训练设定下取得 81.52% ACC在 NYT 训练设定下取得 88.22% ACC整体超过多种已有多模态鉴伪方法。未见模式更能打。在 MMFakeBench 上REFORM 取得 74.9 F1即便面对未见操纵类型依然展现出明显优于多种更大参数量基线的零样本泛化能力。经典基准再刷新。在 DGM4 上REFORM 达到 76.65% ACC、65.72 mAP进一步说明“学会推理”比“只拟合标签”更具跨域普适性。〓 表1ROM 主结果表〓 表2MMFakeBench 零样本结果表〓 表3DGM4 结果表为什么这很重要当伪造模式不断翻新内容安全系统不能总靠“见过”才能识别。让模型跳出“见招拆招”。这项工作不是单纯提升某类已知伪造的识别率而是试图让模型学到更稳定、更可迁移的法证判断逻辑。让未见伪造不再难办。论文最核心的价值不只是分数提升而是证明了沿着证据链学习能够显著缓解多模态鉴伪中的泛化失灵问题。让真实应用更可落地。未来的新闻核验、平台审核与舆情风控系统需要的不是只会判“真/假”的模型而是面对新套路也能稳定分析证据的系统。更多阅读#投 稿 通 道#让你的文字被更多人看到如何才能让更多的优质内容以更短路径到达读者群体缩短读者寻找优质内容的成本呢答案就是你不认识的人。总有一些你不认识的人知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁促使不同背景、不同方向的学者和学术灵感相互碰撞迸发出更多的可能性。PaperWeekly 鼓励高校实验室或个人在我们的平台上分享各类优质内容可以是最新论文解读也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个让知识真正流动起来。稿件基本要求• 文章确系个人原创作品未曾在公开渠道发表如为其他平台已发表或待发表的文章请明确标注• 稿件建议以markdown格式撰写文中配图以附件形式发送要求图片清晰无版权问题• PaperWeekly 尊重原作者署名权并将为每篇被采纳的原创首发稿件提供业内具有竞争力稿酬具体依据文章阅读量和文章质量阶梯制结算投稿通道• 投稿邮箱hrpaperweekly.site• 来稿请备注即时联系方式微信以便我们在稿件选用的第一时间联系作者• 您也可以直接添加小编微信pwbot02快速投稿备注姓名-投稿△长按添加PaperWeekly小编现在在「知乎」也能找到我们了进入知乎首页搜索「PaperWeekly」点击「关注」订阅我们的专栏吧·