PyTorch实战38——深度学习模型可解释性0. 前言1. PyTorch 模型可解释性2. 训练手写数字分类器3. 可视化模型卷积核4. 可视化特征图小结系列链接0. 前言在本专栏中我们已经构建了多种深度学习模型来完成不同任务包括手写数字分类器、图像描述生成器和情感分类器等。虽然我们已经掌握如何使用PyTorch训练和评估这些模型但对其内部的预测机制仍缺乏清晰认知。模型可解释性 (Model Interpretability) 或可解释人工智能 (Explainable AI) 正是致力于回答以下核心问题模型为何做出特定预测或者说“模型从输入数据中识别了哪些特征导致该预测结果” 当这些模型应用于医疗、金融等关键领域时此类问题的答案尤为重要。1. PyTorch 模型可解释性本节将基于手写数字分类模型深入剖析其内部工作机制解释模型对特定输入做出预测的原因使用PyTorch代码解构模型。通过本节学习将掌握解构深度学习模型内部运作的关键技能。以这种方式深入了解模型有助于理解模型的预测行为逻辑。运用本节的实践经验能够使用PyTorch解读自定义的深度学习模型。在本节中我们将使用PyTorch解构一个训练好的手写数字分类模型来深入了解其工作原理。具体而言我们将重点分析该模型卷积层的细节以理解模型从手写数字图像中学到的视觉特征。我们将观察卷积滤波器/核 (convolutional filters/kernels) 及其生成的特征图 (feature maps)。这些细节有助于我们理解模型如何处理输入图像并做出预测。2. 训练手写数字分类器首先我们快速回顾训练手写数字分类模型的步骤。完成这些步骤后我们将得到一个具有良好分类准确率的卷积神经网络 (Convolutional Neural Network,CNN) 模型。(1)首先导入相关库importtorchimporttorch.nnasnnimporttorch.nn.functionalasFimporttorch.optimasoptimfromtorch.utils.dataimportDataLoaderfromtorchvisionimportdatasets,transformsimportmatplotlib.pyplotaspltimportnumpyasnp(2)接下来定义模型架构classConvNet(nn.Module):def__init__(self):super(ConvNet,self).__init__()self.cn1nn.Conv2d(1,16,3,1)self.cn2nn.Conv2d(16,32,3,1)self.dp1nn.Dropout(0.10)self.dp2nn.Dropout(0.25)self.fc1nn.Linear(4608,64)# 4608 is basically 12 X 12 X 32self.fc2nn.Linear(64,10)defforward(self,x):xself.cn1(x)xF.relu(x)xself.cn2(x)xF.relu(x)xF.max_pool2d(x,2)xself.dp1(x)xtorch.flatten(x,1)xself.fc1(x)xF.relu(x)xself.dp2(x)xself.fc2(x)opF.log_softmax(x,dim1)returnop(3)然后定义模型的训练和测试流程deftrain(model,device,train_dataloader,optim,epoch):model.train()forb_i,(X,y)inenumerate(train_dataloader):X,yX.to(device),y.to(device)optim.zero_grad()pred_probmodel(X)lossF.nll_loss(pred_prob,y)# nll is the negative likelihood lossloss.backward()optim.step()ifb_i%100:print(epoch: {} [{}/{} ({:.0f}%)]\t training loss: {:.6f}.format(epoch,b_i*len(X),len(train_dataloader.dataset),100.*b_i/len(train_dataloader),loss.item()))deftest(model,device,test_dataloader):model.eval()loss0success0withtorch.no_grad():forX,yintest_dataloader:X,yX.to(device),y.to(device)pred_probmodel(X)lossF.nll_loss(pred_prob,y,reductionsum).item()# loss summed across the batchpredpred_prob.argmax(dim1,keepdimTrue)# us argmax to get the most likely predictionsuccesspred.eq(y.view_as(pred)).sum().item()loss/len(test_dataloader.dataset)print(\nTest dataset: Overall Loss: {:.4f}, Overall Accuracy: {}/{} ({:.0f}%)\n.format(loss,success,len(test_dataloader.dataset),100.*success/len(test_dataloader.dataset)))(4)接着定义训练和测试数据集加载器# The mean and standard deviation values are calculated as the mean of all pixel values of all images in the training datasettrain_dataloadertorch.utils.data.DataLoader(datasets.MNIST(./data,trainTrue,downloadTrue,transformtransforms.Compose([transforms.ToTensor(),transforms.Normalize((0.1302,),(0.3069,))])),# train_X.mean()/256. and train_X.std()/256.batch_size32,shuffleTrue)test_dataloadertorch.utils.data.DataLoader(datasets.MNIST(./data,trainFalse,transformtransforms.Compose([transforms.ToTensor(),transforms.Normalize((0.1302,),(0.3069,))])),batch_size500,shuffleTrue)(5)接下来实例化模型并定义优化器调度devicetorch.device(cpu)modelConvNet()optimizeroptim.Adadelta(model.parameters(),lr0.5)(6)最后启动模型训练循环模型训练20个epochforepochinrange(1,10):train(model,device,train_dataloader,optimizer,epoch)test(model,device,test_dataloader)输出结果如下所示(7)最后在一张样本测试图像上测试训练好的模型加载测试图像test_samplesenumerate(test_dataloader)b_i,(sample_data,sample_targets)next(test_samples)plt.imshow(sample_data[0][0],cmapgray,interpolationnone)plt.show()输出结果如下所示(8)然后使用这个样本测试图像进行模型预测print(fModel prediction is :{model(sample_data).data.max(1)[1][0]})print(fGround truth is :{sample_targets[0]})输出结果如下所示Model predictionis:6Ground truthis:6我们已经训练完成一个手写数字分类模型并用它对样本图像进行了推理预测。接下来我们深入探究这个训练后模型的内部结构特别是分析模型学习到的卷积核特征。3. 可视化模型卷积核在本节中我们将逐步查看训练好模型中的卷积层并观察模型在训练过程中学习到的卷积核。通过这种分析我们可以理解卷积层如何处理输入图像各层提取的特征类型以及特征提取的演变过程。(1)首先获取模型中所有层的列表model_children_listlist(model.children())convolutional_layers[]model_parameters[]model_children_list输出结果如下所示可以看到模型中有两个卷积层均采用3x3尺寸的卷积核。第一个卷积层使用了16个卷积核而第二个卷积层使用了32个。本节中重点关注可视化卷积层因为卷积层的工作原理在视觉上更容易理解。但我们也可以用类似方法探索全连接层等其它层的权重分布。(2)接下来我们提取模型中的卷积层并将它们存储在一个单独的列表中foriinrange(len(model_children_list)):iftype(model_children_list[i])nn.Conv2d:model_parameters.append(model_children_list[i].weight)convolutional_layers.append(model_children_list[i])在此过程中我们还保存了每个卷积层学习到的权重参数。(3)可视化卷积层学习到的卷积核。首先分析第一层的16个3x3卷积核可视化这些卷积核plt.figure(figsize(5,4))fori,fltinenumerate(model_parameters[0]):plt.subplot(4,4,i1)plt.imshow(flt[0,:,:].detach(),cmapgray)plt.axis(off)plt.show()输出结果如下所示首先可以观察到所有学习到的卷积核都呈现出差异化特征这是一个良好的训练迹象。这些卷积核内部通常包含对比鲜明的数值分布使其能够在图像卷积过程中提取不同类型的梯度特征。在模型推理时这16个卷积核会独立作用于输入的灰度图像生成16张不同的特征图我们将在下一小节中对这些特征图进行可视化。(4)采用相同方法我们可以可视化第二卷积层的32个卷积核。只需调整前一步代码中的层索引即可plt.figure(figsize(5,8))fori,fltinenumerate(model_parameters[1]):plt.subplot(8,4,i1)plt.imshow(flt[0,:,:].detach(),cmapgray)plt.axis(off)plt.show()输出结果如下所示通过可视化可以看到第二卷积层的32个卷积核同样呈现出差异化特征分布其内部数值对比鲜明旨在从图像中提取多层次的梯度特征。这些卷积核作用于第一卷积层的输出特征图因此能够生成更高级别的特征表示。在典型的多层CNN架构中深层卷积层的设计目标正是通过这种层级递进的特征提取逐步构建能够表征复杂视觉元素的特征——例如人脸中的鼻子、道路上的交通灯等高级语义特征。接下来我们将观察这些卷积核在给定输入上运算时产生的实际输出特征图。4. 可视化特征图在本节中我们将通过一个手写数字样本图像逐层展示各卷积层的输出特征。对于不同的层我们期望输出能捕捉到图像的不同视觉特征例如边缘、颜色、曲线和圆形等。(1)首先需要收集各卷积层的输出特征图per_layer_results[convolutional_layers[0](sample_data)]foriinrange(1,len(convolutional_layers)):per_layer_results.append(convolutional_layers[i](per_layer_results[-1]))需要注意我们采用逐层前向传播的方式确保第n个卷积层的输入严格来自第(n-1)个卷积层的输出特征图。这种级联处理方式保持了CNN层级特征传递的特性。(2)可视化两个卷积层生成的特征图。首先展示第一卷积层的输出plt.figure(figsize(5,4))layer_visualisationper_layer_results[0][0,:,:,:]layer_visualisationlayer_visualisation.dataprint(layer_visualisation.size())fori,fltinenumerate(layer_visualisation):plt.subplot(4,4,i1)plt.imshow(flt,cmapgray)plt.axis(off)plt.show()输出结果如下所示数字(16, 26, 26)代表第一个卷积层的输出维度。样本图像的大小是(28, 28)卷积核的大小是(3, 3)由于没有使用填充。因此最终的特征图大小是(26, 26)。由16个卷积核产生了16个特征图所以整体输出维度为(16, 26, 26)。如图所示每个滤波器都从输入图像中提取出独特的特征图。此外每个特征图代表图像中的不同视觉特征。例如左上角的特征图呈现像素值反转效果而右下角的特征图则代表边缘检测特征。这16个特征图随后传递到第二个卷积层在该层32个卷积核分别对这16个特征图进行卷积生成32个新的特征图接下来查看这些特征图。(3)通过调整上一步中代码的索引可视化第二卷积层的32张特征图plt.figure(figsize(5,8))layer_visualisationper_layer_results[1][0,:,:,:]layer_visualisationlayer_visualisation.dataprint(layer_visualisation.size())fori,fltinenumerate(layer_visualisation):plt.subplot(8,4,i1)plt.imshow(flt,cmapgray)plt.axis(off)plt.show()输出结果如下所示与之前16个特征图相比这32个特征图明显呈现出更复杂的特征模式。它们不再局限于简单的边缘检测这是因为其输入已是第一卷积层提取的抽象特征而非原始像素图像。在该模型架构中两个卷积层之后连接着两个线性层其参数规模分别为(4608×64)和(64×10)。虽然线性层权重也具备可视化价值但面对如此庞大的参数量(特别是4608×64)仅通过视觉分析难以有效理解因此我们将把本节的视觉分析限制在卷积层的权重上。小结在本节中我们探讨了如何用PyTorch解释深度学习模型的决策机制。具体而言我们重点分析了卷积神经网络模型卷积层的细节以理解模型从手写数字图像中学到的视觉特征。我们将观察卷积滤波器/核 (convolutional filters/kernels) 及其生成的特征图 (feature maps)。这些细节有助于我们理解模型如何处理输入图像并做出预测。系列链接PyTorch实战1——深度学习Deep LearningPyTorch实战2——使用PyTorch构建神经网络PyTorch实战3——PyTorch vs. TensorFlow详解PyTorch实战4——卷积神经网络Convolutional Neural NetworkCNNPyTorch实战5——深度卷积神经网络PyTorch实战6——模型微调详解PyTorch实战7——循环神经网络PyTorch实战8——图像描述生成PyTorch实战9——从零开始实现TransformerPyTorch实战10——从零开始实现GPT模型PyTorch实战11——随机连接神经网络RandWireNNPyTorch实战12——图神经网络Graph Neural NetworkGNNPyTorch实战13——图卷积网络Graph Convolutional NetworkGCNPyTorch实战14——图注意力网络Graph Attention NetworkGATPyTorch实战15——基于Transformer的文本生成技术PyTorch实战16——基于LSTM实现音乐生成PyTorch实战17——神经风格迁移PyTorch实战18——自编码器AutoencoderAEPyTorch实战19——变分自编码器Variational AutoencoderVAEPyTorch实战20——生成对抗网络Generative Adversarial NetworkGANPyTorch实战21——扩散模型Diffusion ModelPyTorch实战22——MuseGAN详解与实现PyTorch实战23——基于Transformer生成音乐PyTorch实战24——深度强化学习PyTorch实战25——使用PyTorch构建DQN模型PyTorch实战26——PyTorch分布式训练PyTorch实战27——自动混合精度训练PyTorch实战28——PyTorch深度学习模型部署PyTorch实战29——使用TorchServe部署PyTorch模型PyTorch实战30——使用TorchScript和ONNX导出通用PyTorch模型PyTorch实战31——在Android上部署PyTorch模型PyTorch实战32——在iOS上构建PyTorch应用PyTorch实战33——使用fastai进行快速原型开发PyTorch实战34——基于PyTorch Lightning的跨硬件模型训练PyTorch实战35——使用PyTorch Profiler分析模型推理性能PyTorch实战36——PyTorch自动机器学习PyTorch实战37——使用Optuna搜索最优超参数