随着 AI 生成图像技术快速演进伪造内容在网络传播风险持续上升高鲁棒性检测技术因此成为学界与产业界关注的关键问题。然而现有不少方法过于追求单一数据集上的短期收益往往仅围绕“真/假”二分类目标对大规模预训练模型进行专门化微调。这类做法虽然能够提升局部基准上的检测精度却容易破坏模型原有的广泛语义知识从而削弱其对未见生成器、未见数据域的泛化能力。针对这一“贪小利而失大局”的问题哈工大与南安普顿大学联合提出 PoundNet 框架从“检测泛化”与“知识保留”双重目标出发重新审视 AI 生成图像检测的训练范式。论文标题Penny-Wise and Pound-Foolish in AI-Generated Image Detection论文链接https://arxiv.org/abs/2408.08412代码链接https://github.com/iamwangyabin/PoundNet当模型学会“抓假”却忘了“看懂世界”为了应对层出不穷的AI生成图像目前的主流做法是利用预训练的大模型如CLIP并在特定的伪造数据集上使用“类别无关的二分类目标”进行微调。然而我们发现这是一种典型的“短视”策略Penny-Wise模型虽然在训练见过的伪造类型上得分很高但却灾难性地遗忘了预训练模型中宝贵的广泛语义知识。这种对下游任务的过度拟合直接导致了模型对未知AI生成器泛化能力的大幅下降Pound-Foolish。简而言之模型为了学会“抓假”反而连“画里是什么”都认不出了。为此我们提出了一种抗“因小失大”的学习框架 PoundNet。我们没有简单粗暴地进行二分类微调而是基于 CLIP 设计了一套可学习的提示和平衡目标函数。PoundNet 不仅要求模型学会区分真假还强制模型在微调过程中保留对物体类别的分类能力并在每个特定类别的上下文中进行真假判别。PoundNet框架一边“抓假”一边“守住认知”所提出的方法 PoundNet 旨在在实现类别感知的 AI 生成图像检测的同时平衡泛化能力与知识保持能力以更好地应对未见过的 AI 生成器。PoundNet 基于 CLIP 构建并通过我们设计的提示对prompt pair和提出的平衡目标函数对其进行微调。理想情况下我们可以使用如下提示格式“a [real/fake] photo of a [CLASS]”来引导 CLIP 模型完成下游的二分类 AI 图像检测任务。然而对于预训练的 CLIP 来说理解“deepfake”这一抽象概念在自然语言中是具有挑战性的。为了更好地对“a [real/fake] photo”这一上下文在 AI 生成图像检测场景中进行参数化我们分别为真实和伪造图像引入了可学习的成对提示下图左上。类别无关的二分类项Class-Agnostic Binary term图(a)该项对应一种高层次、抽象的概念侧重于在不考虑具体语义类别的情况下区分真实与伪造样本即进行通用的真假二分类。语义保持项Semantic-Preserving term图(b)该项用于保留预训练模型中蕴含的广泛语义知识而这一点往往被现有方法忽略因为它们通常只依赖类别无关的二分类项进行过度微调。类别感知的二分类项Class-Aware Binary term图(c)该项旨在区分不同类别内部的真实与伪造样本例如在猫的图像中检测伪造的猫图像从而使 AI 生成图像检测更加精细和有效。实验结果跨10大数据集全面领先泛化能力显著提升团队遵循领域内常见设定仅使用单一标准 AI 图像数据集进行训练随后在 10 个大规模公开AI生成图像检测数据集上、基于 5 项主要评测指标进行了系统测试构建了当时规模最大的 AI 生成图像检测泛化评测集合之一。实验结果表明PoundNet 相比现有先进方法实现了 19% 的相对性能提升。同时在目标分类任务上PoundNet 仍保持 63% 的较强表现体现出其在 跨域泛化、知识保持与检测鲁棒性 方面的综合优势。更多阅读#投 稿 通 道#让你的文字被更多人看到如何才能让更多的优质内容以更短路径到达读者群体缩短读者寻找优质内容的成本呢答案就是你不认识的人。总有一些你不认识的人知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁促使不同背景、不同方向的学者和学术灵感相互碰撞迸发出更多的可能性。PaperWeekly 鼓励高校实验室或个人在我们的平台上分享各类优质内容可以是最新论文解读也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个让知识真正流动起来。稿件基本要求• 文章确系个人原创作品未曾在公开渠道发表如为其他平台已发表或待发表的文章请明确标注• 稿件建议以markdown格式撰写文中配图以附件形式发送要求图片清晰无版权问题• PaperWeekly 尊重原作者署名权并将为每篇被采纳的原创首发稿件提供业内具有竞争力稿酬具体依据文章阅读量和文章质量阶梯制结算投稿通道• 投稿邮箱hrpaperweekly.site• 来稿请备注即时联系方式微信以便我们在稿件选用的第一时间联系作者• 您也可以直接添加小编微信pwbot02快速投稿备注姓名-投稿△长按添加PaperWeekly小编现在在「知乎」也能找到我们了进入知乎首页搜索「PaperWeekly」点击「关注」订阅我们的专栏吧·