本文定位双模态视频融合里程碑时空联合建模新范式红外 - 可见光视频检测 / 增强必看 核心收益彻底解决视频融合闪烁问题时序一致性碾压所有 SOTA提供即插即用跨模态融合模块嵌入视频检测、跟踪、增强直接涨点 论文信息CVPR 2026 最新武汉大学 Ma Jiayi 团队双模态视频融合新标杆 超大数据集 M3SVD✅ 适配方向跨模态融合、视频融合、时序增强、双模态检测跟踪、跨模态时序建模、低质视频修复论文链接VideoFusion: A Spatio-Temporal Collaborative Network for Multi-modal Video Fusionhttps://arxiv.org/pdf/2503.233590 前言双模态视频融合的三大行业死穴目前所有红外 - 可见光融合方法几乎全是图像级单帧直接用到视频上会直接崩时序闪烁灾难帧间独立融合目标抖动、闪烁、光影跳变模态冗余冲突只做互补信息融合没去掉冗余噪声被放大时空割裂只建模空间特征完全丢失帧间时序依赖这篇CVPR 2026 最新 VideoFusion直接封神首次提出时空协同双模态视频融合框架三大原创核爆级创新✅CmDRM 跨模态差分增强模块提取互补、剔除冗余✅CMGF 全模态引导融合公共查询 双模态注意力✅BiCAM 双向时序共注意力前向 后向上下文动态聚合效果时序一致性 SOTA、融合质量 SOTA、无闪烁、超清晰1 论文核心速览含金量拉满项目硬核信息会议CVPR 2026顶会CCF-A团队武汉大学Ma Jiayi组图像 / 视频融合国内 TOP1核心任务红外 - 可见光视频融合最大贡献构建M3SVD 超大数据集220 段视频15 万帧核心创新差分增强 模态引导融合 双向时序共注意力核心指标SSIM、MI、VIF 全 SOTAflowD 时序一致性最低落地价值无闪烁、鲁棒强、可直接赋能检测 / 跟踪2 核心 1CmDRM 跨模态差分增强模块论文灵魂2.1 核心思想计算双模态差分 红外特征 − 可见光特征用差分信息做交叉注意力只增强互补信息自动剔除模态冗余2.2 原理精准对应论文公式设可见光为主模态红外为辅助模态差分特征Fd Fir − Fvi差分特征做 K、V主模态做 Q交叉注意力强化互补信息自适应权重融合原始特征与增强特征2.3 复现代码import torch import torch.nn as nn import torch.nn.functional as F # # 保持原样的通道注意力 # class ChannelAttention(nn.Module): def __init__(self, c): super().__init__() self.avgpool nn.AdaptiveAvgPool2d(1) self.conv nn.Sequential( nn.Conv2d(c, c//4, 1), nn.ReLU(), nn.Conv2d(c//4, c, 1), nn.Sigmoid() ) def forward(self, x): return x * self.conv(self.avgpool(x)) # # 保持原样的空间注意力 # class SpatialAttention(nn.Module): def __init__(self, k7): super().__init__() self.conv nn.Conv2d(2, 1, k, paddingk//2, biasFalse) self.sigmoid nn.Sigmoid() def forward(self, x): avg torch.mean(x, dim1, keepdimTrue) max_val, _ torch.max(x, dim1, keepdimTrue) return x * self.sigmoid(self.conv(torch.cat([avg, max_val], dim1))) # # 你的原版 CmDRM (修复了维度 Bug YOLO 封装) # class CmDRM(nn.Module): def __init__(self, c1, c2None): super().__init__() # 兼容 YOLO 解析器传入的 list: [c1, c1] dim c1[0] if isinstance(c1, list) else c1 # 保留你的所有网络结构 self.q nn.Conv2d(dim, dim, 1) self.kv nn.Conv2d(dim, dim*2, 1) self.ffn nn.Sequential( nn.Conv2d(dim, dim*4, 1), nn.GELU(), nn.Conv2d(dim*4, dim, 1) ) self.weight_net nn.Sequential( nn.Conv2d(dim*2, 2, 1), nn.Softmax(dim1) ) self.ca ChannelAttention(dim) self.sa SpatialAttention() # YOLO 要求的输出通道对齐 c2 c2 if c2 is not None else dim self.cv_out nn.Conv2d(dim, c2, 1, biasFalse) if dim ! c2 else nn.Identity() def forward(self, x): # 兼容 YOLO 的 list 输入解包 f_vis, f_ir x[0], x[1] # 差分特征核心 f_diff f_ir - f_vis B, C, H, W f_vis.shape # 交叉注意力 q self.q(f_vis).flatten(2).permute(0, 2, 1) # [B, HW, C] k, v self.kv(f_diff).flatten(2).chunk(2, dim1) # k, v: [B, C, HW] k k.permute(0, 2, 1) # [B, HW, C] # 修复 Bug: 必须加上 .transpose(-2, -1)否则 [B, HW, C] 无法和 [B, HW, C] 矩阵相乘 attn (q k.transpose(-2, -1)) / (C**0.5) # - [B, HW, HW] attn attn.softmax(dim-1) # 保持你的 v.permute 逻辑 enhanced (attn v.permute(0, 2, 1)).permute(0, 2, 1).reshape(B, C, H, W) enhanced self.ffn(enhanced) # 自适应权重 weight self.weight_net(torch.cat([f_vis, enhanced], dim1)) w1, w2 weight.chunk(2, dim1) out w1 * f_vis w2 * enhanced # 空间通道精炼 out self.ca(out) out self.sa(out) # YOLO 维度对齐输出 return self.cv_out(out)3 核心 2CMGF 全模态引导融合模块顶会创新3.1 核心思想一句话双模态特征相加 → 生成公共查询 Q分别对红外、可见光做交叉注意力再融合实现最均衡模态互补。3.2 原理综合特征Fc Fir Fvi综合特征做公共查询 Q红外做 K1、V1可见光做 K2、V2双注意力并行计算残差叠加输出最终融合特征3.3 复现代码import torch import torch.nn as nn import torch.nn.functional as F # -------------------------- 极速版 LayerNorm (去除 einops 与 3D 转换开销) -------------------------- class LayerNorm2d(nn.Module): 原生支持 4D [B, C, H, W] 图像的 LayerNorm0 额外显存拷贝。 利用 PyTorch 底层 C 优化的 F.layer_norm 实现。 def __init__(self, dim, biasTrue): super().__init__() self.weight nn.Parameter(torch.ones(dim)) self.bias nn.Parameter(torch.zeros(dim)) if bias else None self.dim dim def forward(self, x): # [B, C, H, W] - [B, H, W, C] - LayerNorm - [B, C, H, W] x x.permute(0, 2, 3, 1) x F.layer_norm(x, (self.dim,), self.weight, self.bias, 1e-5) return x.permute(0, 3, 1, 2) # -------------------------- 核心跨模态交叉注意力模块 -------------------------- class Cross_Attention(nn.Module): def __init__(self, dim, num_heads4, biasFalse): super().__init__() assert dim % num_heads 0, fdim {dim} 必须能被 num_heads {num_heads} 整除 self.num_heads num_heads self.head_dim dim // num_heads self.temperature nn.Parameter(torch.ones(num_heads, 1, 1)) self.q nn.Conv2d(dim, dim, kernel_size1, biasbias) self.kv nn.Conv2d(dim, dim * 2, kernel_size1, biasbias) self.q_dwconv nn.Conv2d(dim, dim, kernel_size3, padding1, groupsdim, biasbias) self.kv_dwconv nn.Conv2d(dim * 2, dim * 2, kernel_size3, padding1, groupsdim * 2, biasbias) self.project_out nn.Conv2d(dim, dim, kernel_size1, biasbias) def forward(self, x_A, x_B): b, c, h, w x_A.shape q self.q_dwconv(self.q(x_A)) kv self.kv_dwconv(self.kv(x_B)) k, v kv.chunk(2, dim1) # 架构师优化用原生 .view 替代 einops完美支持 ONNX极限省显存 q q.view(b, self.num_heads, self.head_dim, h * w) k k.view(b, self.num_heads, self.head_dim, h * w) v v.view(b, self.num_heads, self.head_dim, h * w) q F.normalize(q, dim-1) k F.normalize(k, dim-1) # O(C^2) 极速通道注意力矩阵 attn (q k.transpose(-2, -1)) * self.temperature attn attn.softmax(dim-1) # 权重反哺 out (attn v) out out.view(b, c, h, w) return self.project_out(out) # -------------------------- 门控前馈网络 GDFN -------------------------- class FeedForward(nn.Module): def __init__(self, dim, expansion_factor2.66, biasFalse): super().__init__() hidden_features int(dim * expansion_factor) self.project_in nn.Conv2d(dim, hidden_features * 2, kernel_size1, biasbias) self.dwconv nn.Conv2d(hidden_features * 2, hidden_features * 2, kernel_size3, padding1, groupshidden_features * 2, biasbias) self.project_out nn.Conv2d(hidden_features, dim, kernel_size1, biasbias) def forward(self, x): x self.project_in(x) x1, x2 self.dwconv(x).chunk(2, dim1) return self.project_out(F.gelu(x1) * x2) # -------------------------- 跨模态 Transformer 块 -------------------------- class Cross_TransformerBlock(nn.Module): def __init__(self, dim, num_heads4, expansion_factor2.66, biasFalse): super().__init__() self.norm1_q LayerNorm2d(dim, bias) self.norm1_kv LayerNorm2d(dim, bias) self.attn Cross_Attention(dim, num_heads, bias) self.norm2 LayerNorm2d(dim, bias) self.ffn FeedForward(dim, expansion_factor, bias) def forward(self, x, supple): # 注意力残差 x x self.attn(self.norm1_q(x), self.norm1_kv(supple)) # FFN 残差 x x self.ffn(self.norm2(x)) return x # -------------------------- 最终 YOLO 兼容版CMGF_Concat -------------------------- class CMGF(nn.Module): 用于无缝替换 YOLO 中 Concat 的跨模态 Transformer 融合模块。 def __init__(self, c1, c2, num_heads4): super().__init__() # 提取双分支输入的通道数 (默认两者一致) channels c1[0] if isinstance(c1, list) else c1 # 核心跨模态交互 Transformer self.cross_transformer Cross_TransformerBlock(dimchannels, num_headsnum_heads) # YOLO 对齐网关 # Concat 原本会把 [C, C] 变成 2C。如果 YAML 规定输出 c2我们用 1x1 Conv 平滑对齐 self.cv_out nn.Conv2d(channels, c2, 1, 1, biasFalse) if channels ! c2 else nn.Identity() def forward(self, x): # 1. 解析 YOLO 传入的 List 双特征 ir, vi x[0], x[1] # 2. 构建共享 Query Q ir vi # 3. 双向引导交叉注意力 (共享 Transformer 权重达到完美的多模态正则化) fusion_ir self.cross_transformer(Q, ir) fusion_vi self.cross_transformer(Q, vi) # 4. 融合并对齐输出通道 fusion fusion_ir fusion_vi return self.cv_out(fusion)4 融入你的框架里面YOLO框架示例4.1 步骤 1放入模块将代码复制到ultralytics/nn/modules/block.py并且CmDRM 、CMGF添加至__all__里面。4.2 步骤 2注册模块1在同目录下的_init_.py中from .block import添加CmDRM 、CMGF4.3 步骤 3注册模块2在ultralytics/nn/tasks.py完成注册首先在from ultralytics.nn.modules import添加你的模块名CmDRM 、CMGF。然后再在parse_model中下图的下面添加下面的代码。elif m is CmDRM: # f 是输入层的索引列表例如 [-1, 6] # ch 是一个记录了所有层输出通道数的列表 c1 [ch[x] for x in f] # YAML 中传入的参数 args。例如传入 [512]则 args[0] 为 512 # 如果没传 args则默认输出通道数与第一个输入的通道数一致 c2 args[0] if len(args) 0 else c1[0] # 将解析好的 c1, c2 重新打包回 args以便传给 Fast_CmDRM 的 __init__ 函数 args [c1, c2] elif m in {CMGF,}: # 输入是多个来源获取第一个来源的通道数作为基准 c1 [ch[x] for x in f] # c2 由 yaml 给出args[0]或者默认为 sum(c1) c2 args[0] if len(args) 0 else sum(c1) # args 截断去掉已经在 c2 提取过的部分 args args[1:] if len(args) 1 else []5 论文创新总结可直接写进你的论文 / 毕设CmDRM 差分增强用模态差提取互补信息解决冗余与噪声放大问题。CMGF 模态引导融合公共查询 双模态并行注意力均衡、鲁棒、无偏。6 对你的价值最关键你做的RGB-IR 双模态检测可以直接✅ 把CmDRM替换原有通道融合✅ 把CMGF替换原有 concat/add/ 交叉注意力→mAP 显著涨点 低光照 / 夜间鲁棒暴增