0. 前言本文介绍了SCFM空间-通道特征调制器其通过双路并行注意力架构分别从空间与通道两个维度协同增强特征表达首次在视觉状态空间模型中实现对聚类过程中高频细节损失的有效补偿精准破解了全局建模与局部细节不可兼得的难题。将其作为即插即用模块轻松助力CNN、YOLO、Transformer等深度学习模型在不增加显著计算负担的前提下强化关键区域与关键通道的特征响应让模型在面对复杂纹理、边缘细节或低对比度区域时依然能够保持锐利的边界感知与卓越的重建精度。专栏链接即插即用系列专栏链接可点击跳转免费订阅目录0. 前言1. SCFM注意力简介2. SCFM注意力原理与创新点 SCFM注意力基本原理 SCFM注意力创新点3. 适用范围与模块效果适用范围⚡模块效果4. SCFM注意力代码实现1. SCFM注意力简介超高清UHD图像修复正陷入可扩展性危机现有模型受限于像素级操作其计算需求难以持续。虽然Mamba等状态空间模型SSM承诺线性复杂度但其像素级串行扫描对于UHD内容的数百万像素而言仍是根本瓶颈。我们不禁要问必须处理每一个像素才能理解图像吗本文提出C²SSM——一种视觉状态空间模型通过从像素级串行扫描转向聚类中心级串行扫描打破了这一禁忌。我们的核心发现是UHD图像丰富的特征分布可以通过神经参数化的混合模型提炼为一组稀疏的语义聚类中心。C²SSM利用这一发现将全局建模重构为一种新颖的双路径过程它仅对少量聚类中心进行扫描和推理然后通过一个原则性的相似度分布将全局上下文扩散回所有像素同时由一个轻量级调制器保留细节。原始论文https://arxiv.org/pdf/2602.21917原始代码https://github.com/5chen/C2SSM/tree/main/2. SCFM注意力原理与创新点 SCFM注意力基本原理SCFM作为C²SSM架构中的关键组件扮演着信息补偿器的角色与主干的聚类扫描模块并行运行。它的核心设计思想是当聚类操作将相似的像素聚合为语义中心时虽然大幅压缩了计算量但图像中那些独特的、难以被聚类代表的高频细节如锐利边缘、精细纹理可能会在聚合过程中被平滑或忽略。SCFM正是为解决这一问题而生它通过一个精巧的双分支结构在空间和通道两个维度上分别增强特征表达确保这些关键细节能够被完整保留并传递到后续网络中。具体而言SCFM的实现包含以下三个关键步骤1空间注意力分支首先对输入特征图分别进行最大池化和平均池化提取出空间维度上的显著信息和整体分布信息。将这两个池化结果在通道维度上拼接后通过一个卷积层和Sigmoid激活函数生成空间注意力权重图。该权重图能够突出图像中哪些空间位置包含更重要的结构信息从而引导网络关注边缘、角点等关键区域。2通道注意力分支为了高效提取通道间的依赖关系该分支先将输入特征通过两个连续的卷积层进行非线性变换接着对变换后的特征分别进行最大池化和平均池化将空间维度压缩为1×1的全局描述符然后通过元素级相加融合两种池化结果最后经Sigmoid激活生成通道注意力权重。该权重能够自适应地强调哪些通道特征对当前复原任务更为关键。3特征融合与输出将原始输入特征分别与空间注意力权重和通道注意力权重逐元素相乘得到增强后的空间特征和通道特征。最后将这两路增强后的特征通过独立的卷积层进行变换并相加得到最终的输出特征。这种并行调制的设计使得空间与通道维度的增强互不干扰各自聚焦于不同层面的信息补偿。 SCFM注意力创新点双路并行调制架构SCFM首次在视觉状态空间模型中引入空间与通道双路并行的注意力调制机制两条支路独立计算、协同增强实现对高频细节的精准补偿。轻量化设计整个模块仅使用池化、卷积等基础操作计算开销极小可作为即插即用组件灵活嵌入各类模型无需担心显著增加推理负担。信息补偿定位精准SCFM被设计为与聚类主干并行运行而非串联堆叠这种架构使得它能够专门负责补偿聚类过程中丢失的高频信息与主干形成完美互补。3. 适用范围与模块效果适用范围SCFM适用于通用视觉领域特别是需要在高效率全局建模与高保真局部细节之间取得平衡的视觉任务。它尤其适合作为聚类类、下采样类或任何可能损失细节信息的模块的补充组件。具体而言以下场景特别适用SCFMUHD图像复原任务如超分辨率、去雨、去模糊、低光增强等这些任务对高频细节的恢复要求极高SCFM能够有效补偿全局建模过程中的细节损失。轻量化视觉模型对于追求高效率的模型SCFM以极低的计算成本提供显著的特征增强效果是性能与效率权衡的理想选择。需要细节感知的任务如目标检测、语义分割、图像生成等SCFM的空间注意力能够强化关键区域的响应通道注意力能够筛选重要特征提升模型对细节的感知能力。⚡模块效果结论SCFM的引入使模型PSNR提升0.56 dB同时仅增加0.18M参数量验证了其以极小计算开销实现显著性能提升的有效性。4. SCFM注意力代码实现以下为SCFM注意力机制的官方pytorch实现代码并提供了一个更轻量化的版本# 空间-通道特征调制器Spatial-Channel Feature Modulator, SCFM # 核心设计基于“归一化双注意力并行调制”的架构 # 通过LayerNorm稳定特征分布并行引入通道注意力Channel Attention与空间注意力Spatial Attention # 分别强化关键通道特征与空间关键区域再经独立卷积投影融合实现特征的精准调制与增强 # 提升特征的辨识度与鲁棒性且轻量化设计适配各类视觉模型 import torch import torch.nn as nn import numbers from einops import rearrange def to_3d(x): 将4D特征(B,C,H,W)转换为3D序列格式(B, H*W, C) return rearrange(x, b c h w - b (h w) c) def to_4d(x, h, w): 将3D序列格式(B, H*W, C)转换回4D特征(B,C,H,W) return rearrange(x, b (h w) c - b c h w, hh, ww) class WithBias_LayerNorm(nn.Module): 带偏置的LayerNorm实现 def __init__(self, normalized_shape): super(WithBias_LayerNorm, self).__init__() if isinstance(normalized_shape, numbers.Integral): normalized_shape (normalized_shape,) normalized_shape torch.Size(normalized_shape) assert len(normalized_shape) 1 self.weight nn.Parameter(torch.ones(normalized_shape)) self.bias nn.Parameter(torch.zeros(normalized_shape)) self.normalized_shape normalized_shape def forward(self, x): return x * torch.rsqrt(x.pow(2).mean(-1, keepdimTrue) 1e-6) * self.weight self.bias class LayerNorm(nn.Module): 2D特征的LayerNorm包装器 def __init__(self, dim): super(LayerNorm, self).__init__() self.body WithBias_LayerNorm(dim) def forward(self, x): h, w x.shape[-2:] return to_4d(self.body(to_3d(x)), h, w) class ChannelAttention(nn.Module): 通道注意力模块基于平均池化和最大池化的双池化融合 def __init__(self, in_planes, ratio16): super(ChannelAttention, self).__init__() self.avg_pool nn.AdaptiveAvgPool2d(1) self.max_pool nn.AdaptiveMaxPool2d(1) self.fc nn.Sequential( nn.Conv2d(in_planes, in_planes // ratio, 1, biasFalse), nn.ReLU(), nn.Conv2d(in_planes // ratio, in_planes, 1, biasFalse) ) self.sigmoid nn.Sigmoid() def forward(self, x): avg_out self.fc(self.avg_pool(x)) max_out self.fc(self.max_pool(x)) out avg_out max_out return self.sigmoid(out) class SpatialAttention(nn.Module): 空间注意力模块基于通道维度的平均池化和最大池化拼接 def __init__(self, kernel_size7): super(SpatialAttention, self).__init__() self.conv1 nn.Conv2d(2, 1, kernel_size, paddingkernel_size // 2, biasFalse) self.sigmoid nn.Sigmoid() def forward(self, x): avg_out torch.mean(x, dim1, keepdimTrue) max_out, _ torch.max(x, dim1, keepdimTrue) x_cat torch.cat([avg_out, max_out], dim1) x_out self.conv1(x_cat) return self.sigmoid(x_out) class SCFM(nn.Module): 空间-通道特征调制器Spatial-Channel Feature Modulator, SCFM 功能并行空间注意力与通道注意力双路径调制特征提升特征表达精准度 核心设计严格遵循原始论文公式(14) - 归一化先行LayerNorm稳定特征分布为注意力调制打基础 - 双注意力并行通道注意力强化关键通道空间注意力强化关键区域互补增强 - 独立投影融合双注意力调制后的特征经独立1×1卷积投影避免信息干扰融合更高效 - 轻量化架构无复杂组件计算成本低即插即用 原始论文公式 F_d Conv(ReLU(Conv(F_in))) W_c δ(Max(F_d) Avg(F_d)) W_s δ(Conv([Max(F_in); Mean(F_in)])) F_out Conv(W_s·F_in) Conv(W_c·F_in) Args: feature_dim: 输入/输出特征通道数需保持一致 reduction_ratio: 通道注意力的降维比率默认16 kernel_size: 空间注意力的卷积核大小默认7 def __init__(self, feature_dim, reduction_ratio16, kernel_size7): super().__init__() # 归一化层对应论文Norm self.norm LayerNorm(feature_dim) # 双注意力模块并行设计 self.chan_attn ChannelAttention(feature_dim, ratioreduction_ratio) self.spat_attn SpatialAttention(kernel_sizekernel_size) # 独立投影层对应论文中的Conv self.conv_chan nn.Conv2d(feature_dim, feature_dim, 1, 1, 0) self.conv_spat nn.Conv2d(feature_dim, feature_dim, 1, 1, 0) def forward(self, x): Args: x: 输入特征图形状为 (B, C, H, W) Returns: 调制后的特征图形状与输入相同 # Step 1: LayerNorm稳定特征分布 x_norm self.norm(x) # Step 2: 并行双注意力调制 独立投影 # 通道注意力分支W_c·F_in x_chan self.conv_chan(self.chan_attn(x_norm) * x_norm) # 空间注意力分支W_s·F_in x_spat self.conv_spat(self.spat_attn(x_norm) * x_norm) # Step 3: 融合输出 return x_chan x_spat # 轻量化版本减少计算量 class SCFMLight(nn.Module): SCFM轻量化版本适用于资源受限场景 主要改动 - 通道注意力降维比率提升至32 - 空间注意力卷积核缩小至5 - 移除独立投影层的冗余计算与注意力权重复用 def __init__(self, feature_dim, reduction_ratio32, kernel_size5): super().__init__() self.norm LayerNorm(feature_dim) self.chan_attn ChannelAttention(feature_dim, ratioreduction_ratio) self.spat_attn SpatialAttention(kernel_sizekernel_size) # 使用单一融合卷积进一步降低参数量 self.fusion_conv nn.Conv2d(feature_dim * 2, feature_dim, 1, 1, 0) def forward(self, x): x_norm self.norm(x) x_chan self.chan_attn(x_norm) * x_norm x_spat self.spat_attn(x_norm) * x_norm return self.fusion_conv(torch.cat([x_chan, x_spat], dim1)) if __name__ __main__: device torch.device(cuda:0 if torch.cuda.is_available() else cpu) # 测试标准SCFM x torch.randn(1, 64, 32, 32).to(device) model SCFM(64).to(device) y model(x) print(【SCFM 测试结果】) print(f输入特征维度{x.shape}) print(f输出特征维度{y.shape}) print(f模型参数量{sum(p.numel() for p in model.parameters()):,}) print( * 60) # 测试轻量化版本 model_light SCFMLight(64).to(device) y_light model_light(x) print(f【SCFMLight 测试结果】) print(f输出特征维度{y_light.shape}) print(f轻量化模型参数量{sum(p.numel() for p in model_light.parameters()):,}) print( * 60) # 测试梯度流动 loss y.sum() loss.backward() print(梯度反向传播正常模型可训练)结合自己的思路可将其即插即用至任何模型做结构创新设计该模块博主已成功嵌入至YOLO26模型中可订阅博主YOLO系列算法改进或YOLO26自研改进专栏YOLO系列算法改进专栏链接、YOLO26自研改进系列专栏