用PyTorch实战连续学习Permuted与Split MNIST数据集全解析当你在Kaggle上看到第20个MNIST分类项目时是否想过这个经典数据集还能玩出什么新花样今天我们要打破常规用PyTorch实现连续学习中的两个关键变体——Permuted MNIST和Split MNIST让你亲身体验模型如何在不同任务间保持知识不遗忘。1. 环境准备与数据加载工欲善其事必先利其器。我们先搭建好实验环境conda create -n cl python3.8 conda activate cl pip install torch torchvision matplotlibPermuted MNIST的核心在于对图像像素进行随机重排。下面这段代码展示了如何生成10个不同排列顺序的任务import torch from torchvision import datasets, transforms def get_permuted_mnist(num_tasks10): tasks [] base_dataset datasets.MNIST(./data, trainTrue, downloadTrue) for i in range(num_tasks): if i 0: # 第一个任务使用原始MNIST permutation torch.arange(784) else: permutation torch.randperm(784) transform transforms.Compose([ transforms.ToTensor(), transforms.Lambda(lambda x: x.view(-1)[permutation].view(1, 28, 28)) ]) task_dataset datasets.MNIST(./data, trainTrue, transformtransform) tasks.append(task_dataset) return tasksSplit MNIST的处理则完全不同它将数字类别拆分到不同任务中def get_split_mnist(): tasks [] base_transform transforms.Compose([ transforms.ToTensor() ]) # 5个任务每个任务包含两个数字类别 class_pairs [(0,1), (2,3), (4,5), (6,7), (8,9)] for pair in class_pairs: class_mask (dataset.targets pair[0]) | (dataset.targets pair[1]) task_data dataset.data[class_mask] task_targets dataset.targets[class_mask] # 将标签重新映射为0和1 task_targets (task_targets pair[1]).long() tasks.append((task_data, task_targets)) return tasks2. 连续学习模型架构设计连续学习模型需要解决的核心问题是灾难性遗忘。我们实现两个经典方法EWC弹性权重固化和LwF学习不遗忘。2.1 EWC实现关键代码EWC通过约束重要参数的更新来保护已有知识class EWC_Model(nn.Module): def __init__(self): super().__init__() self.fc1 nn.Linear(784, 100) self.fc2 nn.Linear(100, 10) def forward(self, x): x x.view(-1, 784) x F.relu(self.fc1(x)) return self.fc2(x) def compute_fisher(model, dataset, samples100): fisher {} for n, p in model.named_parameters(): fisher[n] torch.zeros_like(p.data) for _ in range(samples): data, target dataset[random.randint(0, len(dataset)-1)] output model(data.unsqueeze(0)) loss F.cross_entropy(output, torch.tensor([target])) model.zero_grad() loss.backward() for n, p in model.named_parameters(): fisher[n] p.grad.data ** 2 / samples return fisher2.2 LwF实现要点LwF使用知识蒸馏技术保留旧任务知识def lwf_loss(current_output, old_output, target, T2, alpha0.5): # 当前任务的交叉熵损失 ce_loss F.cross_entropy(current_output, target) # 蒸馏损失 soft_target F.softmax(old_output/T, dim1) soft_current F.log_softmax(current_output/T, dim1) distill_loss F.kl_div(soft_current, soft_target, reductionbatchmean) * (T**2) return alpha * ce_loss (1-alpha) * distill_loss3. 训练流程与评估策略连续学习的训练需要特别设计评估环节以检测模型在所有已学任务上的表现。3.1 训练循环示例def train_task(model, task_data, optimizer, ewcNone, fisherNone, lambda_1000): model.train() for epoch in range(10): # 每个任务训练10个epoch for data, target in DataLoader(task_data, batch_size32): optimizer.zero_grad() output model(data) loss F.cross_entropy(output, target) # 如果是EWC添加正则项 if ewc and fisher: for n, p in model.named_parameters(): loss (lambda_/2) * torch.sum(fisher[n] * (p - ewc[n])**2) loss.backward() optimizer.step()3.2 评估指标设计我们使用两个关键指标评估模型性能指标名称计算公式意义说明准确率正确预测数/总样本数单任务表现遗忘率(初始准确率-当前准确率)知识保留程度正向迁移新任务表现-随机初始化表现旧知识对新任务的帮助评估所有已学任务的代码片段def evaluate_all_tasks(model, tasks_so_far): results {} model.eval() with torch.no_grad(): for i, task in enumerate(tasks_so_far): correct 0 for data, target in DataLoader(task, batch_size64): output model(data) pred output.argmax(dim1) correct (pred target).sum().item() acc correct / len(task) results[fTask_{i}] acc return results4. 结果可视化与分析可视化是理解模型行为的关键。我们使用Matplotlib绘制两个关键图表4.1 准确率矩阵def plot_acc_matrix(acc_history): plt.figure(figsize(10,8)) tasks len(acc_history) acc_matrix np.zeros((tasks, tasks)) for eval_task in range(tasks): for train_task in range(eval_task1): acc_matrix[eval_task, train_task] acc_history[train_task][eval_task] plt.imshow(acc_matrix, cmapBlues, vmin0, vmax1) plt.colorbar() plt.xlabel(Evaluation Task) plt.ylabel(Training Task) plt.title(Accuracy Matrix)4.2 遗忘曲线def plot_forgetting(acc_history): plt.figure(figsize(10,6)) for task in range(len(acc_history)-1): initial_acc acc_history[task][task] final_acc acc_history[-1][task] plt.plot([task, len(acc_history)-1], [initial_acc, final_acc], labelfTask {task}) plt.xlabel(Current Task) plt.ylabel(Accuracy) plt.title(Forgetting Curve) plt.legend()5. 实战技巧与常见问题在真实项目中我们积累了一些宝贵经验学习率调整每个新任务开始时适当降低学习率通常为初始值的1/5批次平衡确保每个批次包含来自当前任务和之前任务的数据正则化强度EWC中的λ参数需要根据任务相似度调整注意Permuted MNIST最好使用MLP而非CNN因为像素重排会破坏CNN依赖的空间局部性常见错误及解决方案梯度爆炸现象训练时loss突然变为NaN解决添加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)内存不足现象训练多个任务后显存耗尽解决及时清理旧任务的缓存torch.cuda.empty_cache()评估模式错误现象测试准确率远低于预期解决确保评估时调用model.eval()并禁用梯度计算6. 扩展与进阶方向掌握了基础实现后你可以尝试以下进阶方案混合策略结合EWC和LwF的优点动态架构为每个任务添加专用子网络元学习使用MAML等元学习算法优化初始参数# 混合策略示例 class Hybrid_Model(nn.Module): def __init__(self): super().__init__() self.shared nn.Sequential( nn.Linear(784, 256), nn.ReLU() ) self.task_specific nn.ModuleList([ nn.Linear(256, 10) for _ in range(num_tasks) ]) def forward(self, x, task_id): x x.view(-1, 784) x self.shared(x) return self.task_specific[task_id](x)在真实业务场景中连续学习技术可以应用于用户行为预测随时间变化的偏好金融风控不断演变的欺诈模式医疗诊断新增疾病类别的识别最后分享一个实用技巧在Permuted MNIST实验中记录下每个任务使用的排列顺序这样可以在后续分析时重现完全相同的实验条件。这看似简单却能让你的实验结果更具可重复性和说服力。