手写字魔法消除3：深度学习PmrNet神经网络实现图片修复(含训练代码、数据集和GUI交互界面)

news2025/6/3 19:05:12

第一步：PmrNet介绍

PmrNet是一种基于U-Net架构改进的深度学习网络，来自于论文《Practical Deep Raw Image Denoising on Mobile Devices》，这个网络聚焦于在移动设备上实现高效的原始图像（RAW）去噪（本文用来做手写字消除），解决了传统方法在计算资源受限的移动端难以部署的问题。

核心特点

高效网络设计

轻量级架构：采用计算高效的U-Net变体，减少参数量和计算量。
注意力机制优化：引入通道注意力等轻量化注意力模块，提升去噪效果而不显著增加计算负担。
量化与加速：应用模型量化（如8位整数量化）和硬件感知的加速技术（如ARM NEON指令集），适配移动CPU/DSP。

第二步：PmrNet网络结构

作者所设计的降噪模型就是一种简单但带残差连接的UNet架构，其中UNet部分包含4个encode以及4个decoder。为确保降噪模型可以更好的运行在手机端，作者采用分离卷积以降低计算量，常规卷积仅在网络的头和尾部应用。在encoder部分，作者采用5×5卷积提升感受野并降低网络深度，下采样模块则采用stride=2的卷积；在decoder部分，作则会采用3×3分离卷积，上采样模块则采用2×2反卷积。对应的encoder与decoder通过残差连接方式进行特征融合，在融合之前先对encoder特征采用3×3分离卷积进行通道维度对齐。最后，将所学习到的残差与输入图像相加即可得到降噪结果。

第三步：模型代码展示

class PmrNet(nn.Module):
    def __init__(self, in_channels=1):
        super(PmrNet, self).__init__()

        self.conv0 = Conv2D(in_channels=in_channels, out_channels=16, kernel_size=3, padding=1, stride=1,
                            is_seperable=False,
                            has_relu=True)
        self.enc1 = EncoderStage(in_channels=16, out_channels=64, num_blocks=2)
        self.enc2 = EncoderStage(in_channels=64, out_channels=128, num_blocks=2)
        self.enc3 = EncoderStage(in_channels=128, out_channels=256, num_blocks=4)
        self.enc4 = EncoderStage(in_channels=256, out_channels=512, num_blocks=4)

        self.encdec = Conv2D(in_channels=512, out_channels=64, kernel_size=3, padding=1, stride=1, is_seperable=True,
                             has_relu=True)
        self.dec1 = DecoderStage(in_channels=64, skip_in_channels=256, out_channels=64)
        self.dec2 = DecoderStage(in_channels=64, skip_in_channels=128, out_channels=32)
        self.dec3 = DecoderStage(in_channels=32, skip_in_channels=64, out_channels=32)
        self.dec4 = DecoderStage(in_channels=32, skip_in_channels=16, out_channels=16)

        self.out0 = DecoderBlock(in_channels=16, out_channels=16, kernel_size=3)
        self.out1 = Conv2D(in_channels=16, out_channels=in_channels, kernel_size=3, stride=1, padding=1,
                           is_seperable=False,
                           has_relu=False)

    def forward(self, inp):
        conv0 = self.conv0(inp)
        conv1 = self.enc1(conv0)
        conv2 = self.enc2(conv1)
        conv3 = self.enc3(conv2)
        conv4 = self.enc4(conv3)

        conv5 = self.encdec(conv4)

        up3 = self.dec1((conv5, conv3))
        up2 = self.dec2((up3, conv2))
        up1 = self.dec3((up2, conv1))
        x = self.dec4((up1, conv0))

        x = self.out0(x)
        x = self.out1(x)

        pred = inp + x
        return pred

第四步：运行交互代码