1. Lite-HRNet迁移到遥感影像分割的挑战第一次把Lite-HRNet从人体姿态估计搬到遥感影像分割时我遇到了几个头疼的问题。最明显的就是训练时损失函数死活不下降模型输出的分割结果全是噪声根本提取不出任何有效特征。这让我意识到直接套用原模型结构是行不通的。仔细分析后发现问题主要出在三个方面首先是分辨率适配问题。人体姿态估计处理的图像尺寸相对固定比如256x256而遥感影像往往尺寸巨大且比例多变。原模型的RepHead分割头设计是针对小尺寸人体关键点检测优化的直接用在512x512甚至更大的遥感影像上就会出现特征丢失。其次是通道数配置不合理。Lite-HRNet原版的base_channel32是为人脸关键点设计的但遥感影像中的地物特征复杂度高得多。测试发现当base_channel小于40时模型连基本的道路边缘都检测不出来。最棘手的是多尺度特征融合方式不匹配。人体姿态估计关注的是局部细节而遥感分割需要同时处理建筑物、植被、水域等不同尺度的目标。原版的CrossResolutionWeight模块在跨分辨率特征融合时权重分配策略过于简单导致小目标如车辆和大目标如机场跑道难以兼顾。2. 网络结构适配方案2.1 分割头重构原版的RepHead是这个样子的class RepresentationHead(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() self.conv nn.Conv2d(in_channels, out_channels, 1) def forward(self, x): return self.conv(x)我把它改成了多尺度融合头class RSegHead(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() self.conv1 nn.Sequential( nn.Conv2d(in_channels, in_channels//2, 3, padding1), nn.BatchNorm2d(in_channels//2), nn.ReLU() ) self.attention nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(in_channels//2, in_channels//8, 1), nn.ReLU(), nn.Conv2d(in_channels//8, in_channels//2, 1), nn.Sigmoid() ) self.conv2 nn.Conv2d(in_channels//2, out_channels, 1) def forward(self, x): x self.conv1(x) att self.attention(x) return self.conv2(x * att)这个新设计有三个改进点增加了中间卷积层保留空间信息引入通道注意力机制增强重要特征保持1x1卷积输出确保计算效率2.2 特征金字塔增强原版Lite-HRNet的特征金字塔是这样的结构高分辨率流 ──────┬───── 输出 中分辨率流 ────┐ │ 低分辨率流 ─┐ │ │ ↓ ↓ ↓ [融合模块]我加入了自上而下的特征增强路径高分辨率流 ←───┬───────┐ 中分辨率流 ←─┐ │ │ 低分辨率流 ←┐ │ │ │ ↓ ↓ ↓ ↑ [融合模块] ← [反卷积增强]具体实现时在每个StageBlock后添加了反卷积支路class EnhancedStageBlock(StageBlock): def __init__(self, *args, **kwargs): super().__init__(*args, **kwargs) self.deconv nn.ModuleList([ nn.ConvTranspose2d(base_ch*(i1), base_ch, 2, stride2) for i in range(stage-1) ]) def forward(self, feats): main_feats super().forward(feats) enhanced_feats [main_feats[0]] for i in range(1, len(main_feats)): deconv self.deconv[i-1](main_feats[i]) enhanced_feats.append(deconv feats[i-1]) return enhanced_feats3. 数据预处理技巧3.1 多尺度训练策略遥感影像尺寸差异大我采用了动态缩放策略class RandomScaleCrop: def __init__(self, base_size512, scales[0.75, 1.0, 1.25, 1.5]): self.scales scales self.base_size base_size def __call__(self, img, label): scale random.choice(self.scales) new_size int(self.base_size * scale) img cv2.resize(img, (new_size, new_size)) label cv2.resize(label, (new_size, new_size), interpolationcv2.INTER_NEAREST) # 随机裁剪512x512 h, w img.shape[:2] x random.randint(0, w - 512) y random.randint(0, h - 512) return img[y:y512, x:x512], label[y:y512, x:x512]这个策略带来了两个好处模型学会了处理不同尺度的目标数据增强效果更好防止过拟合3.2 波段选择与增强针对不同卫星数据我总结了这些经验对于Sentinel-2优先使用B8近红外、B4红、B3绿组合对于GF系列蓝、绿、红波段组合效果最佳夜间灯光数据需要做对数增强处理def sentinel_preprocess(img): # 输入是13个波段的tif图像 r img[3,:,:] # B4 g img[2,:,:] # B3 nir img[7,:,:] # B8 # NDVI计算 ndvi (nir - r) / (nir r 1e-6) # 组合成3通道 return np.stack([ndvi, r, g], axis0)4. 训练调优实战4.1 损失函数选择试了多种损失函数组合后发现这个方案最有效class HybridLoss(nn.Module): def __init__(self, alpha0.7): super().__init__() self.dice DiceLoss() self.focal FocalLoss() self.alpha alpha def forward(self, pred, target): return self.alpha*self.dice(pred, target) \ (1-self.alpha)*self.focal(pred, target)其中Dice Loss负责处理类别不平衡遥感影像中背景占比大Focal Loss专注难样本挖掘如细小道路4.2 学习率调度策略不同于常见的StepLR我采用了更激进的余弦退火scheduler torch.optim.lr_scheduler.OneCycleLR( optimizer, max_lr0.01, steps_per_epochlen(train_loader), epochs100, pct_start0.3 )配合线性warmup效果更好def warmup_lr_scheduler(optimizer, warmup_iters, warmup_factor): def f(x): if x warmup_iters: return 1 alpha float(x) / warmup_iters return warmup_factor * (1 - alpha) alpha return torch.optim.lr_scheduler.LambdaLR(optimizer, f)4.3 模型量化部署在实际部署时我用了这套量化方案model LiteHRNet(num_class5).eval() model.load_state_dict(torch.load(best_model.pth)) # 量化配置 model.qconfig torch.quantization.get_default_qat_qconfig(fbgemm) quant_model torch.quantization.prepare_qat(model.train()) # 再训练少量epoch finetune(quant_model, epochs5) # 最终转换 quant_model torch.quantization.convert(quant_model.eval())量化后模型大小从18MB降到4.7MB推理速度提升2.3倍mIoU仅下降0.8%。