DecepGPT: Schema-Driven Deception Detection with Multicultural Datasets and Robust Multimodal LearningAuthors:Jiajian Huang, Dongliang Zhu, Zitong YU, Hui Ma, Jiayu Zhang, Chunmei Zhu, Xiaochun CaoDeep-Dive Summary:DeepGPT: 基于模式驱动的多文化数据集与鲁棒多模态学习的欺骗检测摘要多模态欺骗检测旨在通过分析视听线索识别欺骗行为用于取证和安全领域。在这些高风险场景中调查人员需要可验证的证据将视听线索与最终决策联系起来同时确保跨领域和文化背景的可靠泛化。然而现有基准仅提供二元标签缺乏中间推理线索数据集规模小且场景覆盖有限导致捷径学习。本文通过三方面贡献解决这些问题第一构建推理数据集通过结构化线索级描述和推理链增强现有基准使模型输出可审计报告第二发布T4-Deception多文化数据集基于统一的To Tell The Truth电视节目格式在四个国家实施包含1695个样本是目前最大的非实验室欺骗检测数据集第三提出两个小数据条件下的鲁棒学习模块——**稳定化个体-共性协同(SICS)**通过协同可学习全局先验与样本自适应残差来精炼多模态表示并进行极性感知的双向重校准**蒸馏模态一致性(DMC)**通过知识蒸馏将单模态预测与融合多模态预测对齐防止单模态捷径学习。在三个 established 基准和新数据集上的实验表明该方法在域内和跨域场景均达到最先进性能并在多元文化背景下展现出卓越的迁移能力。2 相关工作**多模态欺骗检测。**早期MDD方法依赖手工设计的行为线索后来发展为深度端到端视听模型。近期基准如DOLOs突出了欺骗场景中跨域迁移的挑战。虽然多模态大语言模型(MLLMs)为语义推理提供了新潜力但它们在欺骗场景中难以利用细微的视听线索且容易产生事后的推理幻觉。本文通过强制模式约束的审计报告来标准化证据提取解决这一问题。**行为解耦与稳定化精炼。**高风险欺骗分析常受特异性身份噪声干扰这些噪声掩盖了通用的欺骗标记。虽然传统的分解和调制范式专注于特征分离或样本依赖加权但它们很少考虑全局先验与个体残差的协同稳定化。与传统解耦不同SICS明确将易变的人格驱动噪声与行为共性解耦将表示锚定在稳定化的潜在空间中以支持可审计推理。**缓解单模态主导。**多模态优化常遭受不平衡梯度导致单模态捷径。现有方法使用模态dropout或自适应重加权。相比之下本文通过跨模态一致性约束来正则化预测分布在保持完整推理效率的同时减少对捷径的依赖。**图2推理数据集生成流程概览。**该流程采用人在回路(HITL)框架确保高质量、可审计的结构化报告。始于AI驱动的视听线索提取随后进行人工引导的幻觉修正。推理助手将这些线索综合为取证判断。数据通过语义增强和多层级过滤阶段包括AI、基于规则和CLIP相似性检查进一步丰富以产生最终的高保真基准。**表1多模态欺骗检测数据集比较。**T4-Deception跨4种文化的To Tell The Truth数据集是最大的非实验室基准具有统一的身份伪装任务和多元文化背景。数据集总数欺骗真实场景欺骗任务Real Life Trials [1]1216160法庭虚假证词Bag of Lies [8]325162163实验室虚假图像-叙述MU3D [20]320160160实验室虚假社会评价Deception Det. [21]16806301050实验室虚假面试-轶事Box of Lies [22]1049862187游戏节目虚假物体描述DOLOs [3]1675899776游戏节目虚假故事讲述T4-Deception (本文)16951130565游戏节目虚假职业身份— 美国版876584292游戏节目统一多文化— 德国版702468234游戏节目— 越南版664422游戏节目— 保加利亚版513417游戏节目3 方法为提供敏感决策所需的透明度本文提出可审计范式。如图2所示该范式通过标准化流程实现用细粒度行为描述和推理逻辑丰富现有基准以支持结构化报告。为解决小数据制度固有的性能不稳定性和缺乏统一场景协议设计的跨文化基准问题本文构建并发布数据集表1和图3在增加数据总量的同时填补身份伪装和多元文化场景的关键空白。同时引入两个鲁棒编码模块图4进一步稳定优化**稳定化个体-共性协同(SICS)**通过抑制噪声增强表示鲁棒性**蒸馏模态一致性(DMC)**通过一致性蒸馏防止单模态捷径。这些组件共同确保生成的审计报告基于平衡且可验证的可审计证据。3.1 数据构建结构化多线索推理监督**模式设计。**采用结构化输出格式[音频线索视觉线索推理预测]。模型首先识别与欺骗相关的音频和视觉线索然后基于这些线索进行跨模态推理以得出最终预测。这强制了证据到结论的推理流程其中预测通过中间推理步骤从明确的行为观察中导出。**图3T4-Deception数据集统计。**展示(a) 身份分布565个身份各由1个真实和2个欺骗参与者共享(b) 平衡的性别分布© 大量短时欺骗片段平均时长3.65秒。**HITL生成流程。**如图2所示流程使用多个专业助手音频助手(Qwen-Omni)提取韵律和语音模式等音频线索视频助手(GPT-4o)提取面部动态和肢体语言等视觉线索推理助手(GPT-4o)将这些线索综合为跨模态判断。人工标注员审查三个助手的输出以纠正幻觉或逻辑不一致。增强助手(GPT-4o)然后对文本进行改写以增加词汇变化。增强样本通过自动过滤后进行最终人工审查。**多阶段过滤。**数据增强后对增强样本应用三个严格的过滤阶段首先基于AI的检查自动删除矛盾的线索-推理对以确保逻辑一致性其次基于规则的过滤严格确保所有条目的完整格式合规第三相似性过滤通过消除近似重复样本有效防止数据冗余。最后过滤后的样本经过全面的最终人工审查以确认整体数据质量和可靠性。3.2 T4-Deception跨45.3 可审计推理有效性与案例研究我们使用结构化、模式约束的报告线索推理预测作为审计工件以识别幻觉和捷径推理。我们通过错误分类法沿两个维度对这些报告进行审计i视觉/声学线索分为正确、反事实或不存在幻觉ii推理质量分为正确、虚假线索逻辑上合理但反事实、不连贯或单一线索模态崩溃。Original Abstract:Multimodal deception detection aims to identify deceptive behavior by analyzing audiovisual cues for forensics and security. In these high-stakes settings, investigators need verifiable evidence connecting audiovisual cues to final decisions, along with reliable generalization across domains and cultural contexts. However, existing benchmarks provide only binary labels without intermediate reasoning cues. Datasets are also small with limited scenario coverage, leading to shortcut learning. We address these issues through three contributions. First, we construct reasoning datasets by augmenting existing benchmarks with structured cue-level descriptions and reasoning chains, enabling model output auditable reports. Second, we release T4-Deception, a multicultural dataset based on the unified To Tell The Truth’’ television format implemented across four countries. With 1695 samples, it is the largest non-laboratory deception detection dataset. Third, we propose two modules for robust learning under small-data conditions. Stabilized Individuality-Commonality Synergy (SICS) refines multimodal representations by synergizing learnable global priors with sample-adaptive residuals, followed by a polarity-aware adjustment that bi-directionally recalibrates representations. Distilled Modality Consistency (DMC) aligns modality-specific predictions with the fused multimodal predictions via knowledge distillation to prevent unimodal shortcut learning. Experiments on three established benchmarks and our novel dataset demonstrate that our method achieves state-of-the-art performance in both in-domain and cross-domain scenarios, while exhibiting superior transferability across diverse cultural contexts. The datasets and codes will be released.PDF Link:2603.23916v1部分平台可能图片显示异常请以我的博客内容为准