论文信息标题Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections会议NIPS 2016单位南京大学、阿德莱德大学代码https://github.com/helloxiaojiao/RED-Net论文https://arxiv.org/pdf/1603.09056.pdf一、前言图像复原的经典难题图像复原去噪、超分就是从退化图像中恢复出清晰原图是个典型的病态逆问题。退化模型yxvy x vyxvyyy退化图像含噪/低分辨率xxx清晰原图vvv噪声/退化分量传统方法BM3D、WNNM效果好但速度慢早期CNN虽然快但网络一深就梯度消失细节恢复拉胯。RED-Net直接给出满分答案深度卷积编解码 对称跳跃连接1个模型搞定多噪声级还能刷到SOTA二、核心总览RED-Net到底强在哪三大杀招全卷积编解码架构编码卷积提取主体解码反卷积恢复细节对称跳跃连接对应卷积层→反卷积层直连传细节防梯度消失单模型多噪声级超大网络容量一个模型处理σ10/30/50/70全部噪声一句话总结越深越强细节不丢训练稳定一专多能。三、网络架构对称编解码跳跃连接3.1 整体架构图1 RED-Net整体架构编码器堆叠卷积层提取图像主体过滤噪声解码器堆叠反卷积层从抽象特征恢复高清细节对称跳跃连接每2层卷积→对应反卷积层逐元素相加无池化/反池化保护图像细节不丢信息卷积核全部3×3同VGG稳定好用3.2 残差模块图2 RED-Net残差模块实线卷积虚线反卷积⊕特征图逐元素相加通俗解释把编码器的细节“快递”给解码器防止反卷积“无米之炊”。四、核心原理公式通俗解释4.1 残差学习策略不直接学y→xy→xy→x而是学残差F(X)Y−XF(X) Y - XF(X)Y−XXXX网络输入退化图YYY网络输出清晰图F(X)F(X)F(X)网络学习的残差噪声/模糊分量通俗解释网络只学“退化部分”复原更简单训练更稳定。4.2 损失函数MSEL(Θ)1N∑i1N∥F(Xi;Θ)−Yi∥F2\mathcal{L}(\Theta)\frac{1}{N}\sum_{i1}^{N}\|\mathcal{F}(X_i;\Theta)-Y_i\|_F^2L(Θ)N1​i1∑N​∥F(Xi​;Θ)−Yi​∥F2​Θ\ThetaΘ网络参数卷积/反卷积核NNN训练样本数量XiX_iXi​第iii个退化图像块YiY_iYi​第iii个清晰标签块F(⋅)\mathcal{F}(·)F(⋅)网络映射∥⋅∥F\|\cdot\|_F∥⋅∥F​Frobenius范数像素级L2损失通俗解释让网络输出图和真实图的像素差距越小越好。4.3 对称跳跃连接的两大作用前向传播传递编码器的细节特征帮解码器精准恢复边缘纹理反向传播梯度直达底层解决深层网络梯度消失10/20/30层随便堆五、核心PyTorch代码实现5.1 卷积ReLU模块importtorchimporttorch.nnasnnclassConvBlock(nn.Module):def__init__(self,in_channels,out_channels):super().__init__()self.convnn.Conv2d(in_channels,out_channels,kernel_size3,padding1)self.relunn.ReLU(inplaceTrue)defforward(self,x):returnself.relu(self.conv(x))5.2 反卷积ReLU模块classDeconvBlock(nn.Module):def__init__(self,in_channels,out_channels):super().__init__()self.deconvnn.ConvTranspose2d(in_channels,out_channels,kernel_size3,padding1)self.relunn.ReLU(inplaceTrue)defforward(self,x):returnself.relu(self.deconv(x))5.3 RED-Net完整30层网络classREDNet30(nn.Module):def__init__(self,channels64):super().__init__()# 编码器15层卷积self.conv1ConvBlock(1,channels)self.conv2ConvBlock(channels,channels)self.conv3ConvBlock(channels,channels)self.conv4ConvBlock(channels,channels)self.conv5ConvBlock(channels,channels)self.conv6ConvBlock(channels,channels)self.conv7ConvBlock(channels,channels)self.conv8ConvBlock(channels,channels)self.conv9ConvBlock(channels,channels)self.conv10ConvBlock(channels,channels)self.conv11ConvBlock(channels,channels)self.conv12ConvBlock(channels,channels)self.conv13ConvBlock(channels,channels)self.conv14ConvBlock(channels,channels)self.conv15ConvBlock(channels,channels)# 解码器15层反卷积 对称跳跃连接self.deconv15DeconvBlock(channels,channels)self.deconv14DeconvBlock(channels*2,channels)self.deconv13DeconvBlock(channels*2,channels)self.deconv12DeconvBlock(channels*2,channels)self.deconv11DeconvBlock(channels*2,channels)self.deconv10DeconvBlock(channels*2,channels)self.deconv9DeconvBlock(channels*2,channels)self.deconv8DeconvBlock(channels*2,channels)self.deconv7DeconvBlock(channels*2,channels)self.deconv6DeconvBlock(channels*2,channels)self.deconv5DeconvBlock(channels*2,channels)self.deconv4DeconvBlock(channels*2,channels)self.deconv3DeconvBlock(channels*2,channels)self.deconv2DeconvBlock(channels*2,channels)self.deconv1nn.ConvTranspose2d(channels*2,1,kernel_size3,padding1)defforward(self,x):# 编码c1self.conv1(x)c2self.conv2(c1)c3self.conv3(c2)c4self.conv4(c3)c5self.conv5(c4)c6self.conv6(c5)c7self.conv7(c6)c8self.conv8(c7)c9self.conv9(c8)c10self.conv10(c9)c11self.conv11(c10)c12self.conv12(c11)c13self.conv13(c12)c14self.conv14(c13)c15self.conv15(c14)# 解码 对称跳跃连接d15self.deconv15(c15)d14self.deconv14(torch.cat([d15,c14],dim1))d13self.deconv13(torch.cat([d14,c13],dim1))d12self.deconv12(torch.cat([d13,c12],dim1))d11self.deconv11(torch.cat([d12,c11],dim1))d10self.deconv10(torch.cat([d11,c10],dim1))d9self.deconv9(torch.cat([d10,c9],dim1))d8self.deconv8(torch.cat([d9,c8],dim1))d7self.deconv7(torch.cat([d8,c7],dim1))d6self.deconv6(torch.cat([d7,c6],dim1))d5self.deconv5(torch.cat([d6,c5],dim1))d4self.deconv4(torch.cat([d5,c4],dim1))d3self.deconv3(torch.cat([d4,c3],dim1))d2self.deconv2(torch.cat([d3,c2],dim1))outself.deconv1(torch.cat([d2,c1],dim1))returnout六、实验结果全方面SOTA6.1 图像去噪表格1 出处原论文Table 1噪声级BM3DWNNMRED10RED20RED30σ1034.1834.4934.6234.7434.81σ3028.4928.7428.9529.1029.17σ5026.0826.3226.5126.7226.81σ7024.6524.8024.9725.2325.31表格1 14张测试图平均PSNR(dB)分析RED30碾压传统最强BM3D、WNNM网络越深性能越强跳跃连接完美解决深层训练难题噪声越大提升越明显复杂退化优势拉满6.2 单模型多噪声级表格2 出处原论文Table 6数据集σ10σ30σ50σ7014张图34.4929.0926.7525.20BSD20033.3827.8825.6924.36表格2 单模型30层网络去噪结果分析只用1个模型同时处理4种噪声级性能仅略低于分模型训练实用性爆炸6.3 图像超分辨率表格3 出处原论文Table 3放大倍数SRCNNCSCNRED10RED20RED30×236.6637.1437.4337.6237.66×332.7533.2633.4333.8033.82×430.4931.0431.1231.4031.51表格3 Set5数据集超分PSNR(dB)分析同样超越所有传统CNN超分方法编解码跳跃连接同样适配超分任务七、消融实验验证跳跃连接的重要性跳跃连接分析a使用反卷积和跳跃连接恢复图像细节b训练过程中的训练损失c[11] 中的跳跃连接与我们模型中的跳跃连接对比其中“Block-i-RED”表示我们模型中块大小为 i 的连接“Block-i-He et al.”表示 He 等人[11]中块大小为 i 的连接。各曲线在最后一次迭代时的峰值信噪比PSNR分别为25.08、24.59、25.30 和 25.21。图3 跳跃连接消融实验分析无跳跃连接网络越深损失越大性能越差有跳跃连接网络越深损失越小性能越强对称连接 ResNet原始连接像素级对齐更适合图像复原八、总结RED-Net是图像复原里程碑式架构对称编解码编码提主体解码恢细节对称跳跃连接传细节防梯度消失深层网络轻松训单模型通用一个模型搞定多噪声级/多放大倍数去噪、超分双双SOTA简单有效影响深远至今U-Net、RED-Net系列跳跃连接编解码仍是图像复原的标配骨架