文章目录1、Global Explanationexplain the whole model2、局部解释Local Explanation vs 全局解释Global Explanation3、参考1、Global Explanationexplain the whole model之前讲的是 local explanation给一张图片为什么机器觉得里面是一只猫【AI】《Explainable Machine Learning》1这篇文章讲 global explanationglobal explanation 不是针对特定一张图片进行分析而是心里想象的猫到底长什么样子输入 Image X如果 filter 1 上面有很多 large values也即比较多的相应说明 image X contain the partterns filter 1 can detect这是 local explanation如果不知道输入 X 呢下面是 global explanation采用的是 gradient ascent最大化 filter 1 的相应求出对应的 X让某个类别的分数越高越好在没有生成器约束时最原始的方法是寻找一张图片X XX使得该神经元的激活值最大化Maximizing Activation。数学公式X ∗ arg ⁡ max ⁡ X y i X^* \arg \max_X y_iX∗argmaxX​yi​结果这通常会导致模型生成一堆人类看不懂的噪声和彩斑。为什么因为在不受约束的像素空间里让神经元激活最强烈的往往是一些能产生超大梯度但对人类无意义的纹理。这并没有解决可解释性的核心问题 ——“让人类看懂”。gradient ascent 基础上加入约束eg让白色的点更少数字占比整图的像素是比较少的with several regularization termsand hyperparameter tuning …才能达到肉眼友好型的可视化结果引入生成器约束为了让生成的图片符合人类视觉习惯我们需要一个限制。这就是Image Generator生成器如 GAN, VAE的用武之地。第一阶段预训练生成器使用海量的自然图片猫、狗、老虎等预训练一个生成器。它学到了从一个低维向量z zz生成高质量、自然图片的能力X G ( z ) X G(z)XG(z)。意义这意味着它知道一张自然的图片大概长什么样有边缘、有光照、有材质。第二阶段对潜在空间进行优化我们不再直接优化像素X XX而是优化生成器的输入z zz。数学公式z ∗ arg ⁡ max ⁡ z y i z^* \arg \max_z y_iz∗argmaxz​yi​新的处理流寻找最佳的向量z ∗ z^*z∗→ \rightarrow→送入生成器G GG→ \rightarrow→生成高质量的图片X ∗ G ( z ∗ ) X^* G(z^*)X∗G(z∗)→ \rightarrow→送入我们想要分析的 Classifier分类器→ \rightarrow→获得最高激活值y i y_iyi​。最后得到的z ∗ z^*z∗再经过 Image GeneratorG GG后得到 global explanation 的X ∗ X^*X∗结果展示eg 蚂蚁、火山我们其实没有那么在乎机器真正想的是什么eg 生成的相应最高的图片都是杂讯我们希望有些方法解读出来的东西人看起来觉得很开心然后就说机器想的可能就是这个样子的用白盒模仿黑盒 (Mimicking)using an interpretable model to mimic the behavior of an uninterpretable model黑盒子做到的事情linear model 不一定能做到可以只模仿一小部分一小个区域的行为代理模型LIME的思路 “我知道这里有个几何结构但我不想弄明白它。我只想知道在这一块局部的几何区域里如果我们改变一个特征最后的预测结果会怎么变。通过这种局部的‘扰动’来归纳规律。”2、局部解释Local Explanation vs 全局解释Global Explanation在可解释性 AIXAI领域局部解释Local Explanation和全局解释Global Explanation是两个最核心的维度。简单来说它们分别是“看局部细节”和“看宏观逻辑”的区别。1局部解释 (Local Explanation)核心问题“为什么模型对这个特定的样本给出了这样的预测”定义专注于单个输入实例。它试图说明模型在处理某一个具体案例时哪些特征起到了决定性作用。在视觉/CNN 中的体现Grad-CAM / 热力图针对这张“猫”的照片模型是因为看到了耳朵还是胡须才判定它是猫LIME / SHAP通过微调该样本的特征如遮住图片的一部分观察预测结果的变化。应用场景纠错为什么机器人把这个具体的线圈认成了障碍物可能是因为这根电线反光严重。医疗/法律为什么这个特定的病人的 X 光片被判定为肺炎why do you think this image is a cat2全局解释 (Global Explanation)核心问题“整个模型整体上是如何工作的它学习到的一般性规律是什么”定义试图描述模型的完整逻辑、内部结构和普遍规律而不针对具体样本。在视觉/CNN 中的体现特征可视化Feature Visualization第 5 层卷积核通常在寻找什么样的纹理比如它们整体上都在找圆形轮廓。Probing探测模型是否在中间层普遍学到了“词性”或“物体几何关系”。应用场景模型验证确认模型是否通过“作弊”学习比如是否只要背景是绿色就预测是树。知识发现通过观察模型人类是否能学到新的规律what does a “cat” look likenot referred to a specific image3区别与联系核心区别对照表维度局部解释 (Local)全局解释 (Global)视角显微镜Microscopic望远镜Macroscopic对象单个样本、单次决策整个模型、所有参数、普遍规律计算量相对较小只算一次 Inference非常大通常需要遍历大量数据或分析参数忠实度对单次决策非常忠实容易过度简化很难用一句话说清亿级参数的逻辑它们之间的联系个体与总体的关系局部解释是全局逻辑在某个点上的投影。如果你做了足够多的局部解释如对 1 万张图片做热力图你就能归纳出全局解释模型普遍更看重物体的边缘。互补性在算法工程中通常需要双管齐下。通过全局解释确保模型没有系统性偏差。通过局部解释解决长尾问题Edge Cases。3、参考https://www.youtube.com/watch?v0ayIPqbdHYQ