视频链接:
https://www.bilibili.com/video/BV1Wv411h7kN/?p=96&vd_source=7259e29498a413d91ab48c04f9329855
课件链接:
https://view.officeapps.live.com/op/view.aspx?src=https%3A%2F%2Fspeech.ee.ntu.edu.tw%2F~hylee%2Fml%2Fml2021-course-data%2Fxai_v4.pptx&wdOrigin=BROWSELINK
作业链接:
https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/hw/HW09/HW09.pdf
https://colab.research.google.com/github/ga642381/ML2021-Spring/blob/main/HW09/HW09.ipynb
目录
Interpretable与explainable的差异
Explainable的目标
解释的类别
Local
解释的方法
1.输入的哪些部分重要
2.网络如何处理输入
Global
1.以网络输出最大为优化目标训练输入
2. Generator
替代模型
Interpretable与explainable的差异
Interpretable本身就可解释的(线性模型, 单颗浅层决策树)
explainable本身不可解释的模型赋予其解释(深层决策树/随机森林)
Explainable的目标
什么是好的解释结果
人能接受的理由(让人高兴)
解释的类别
Local:对单个样本做出判断的理由(哪些组成部分components像猫)
Global:对任意的输入, 什么样的输入能获得肯定的判断(什么样的图片可以看作猫)
Local
解释的方法
1.输入的哪些部分重要
2.网络如何处理输入
1.输入的哪些部分重要
1.看梯度
(1)逐部分mask特征/或者对单个特征进行微小变化
(2)然后观察输出/计算梯度:
变化大/梯度大的为重要特征, 由此可画出Saliency Map(主要在CV中使用)
2. Integrated gradient (IG)--扩展了解的方法
SmoothGrad
避免杂讯影响: 在图片上加入不同杂讯, 所有的Saliency Map叠加后, 就是SmoothGrad的结果
草对分辨图片可能重要, 但老板会喜欢机器根据猫的本体判断, 让老板高兴的解释才是好的解释
梯度≠特征重要度
当大象鼻子长到一定程度的时候, 再变长对判断就没有帮助了, 此时长度发生变化的梯度为0.
2.网络如何处理输入
降维+可视化
对网络某一层(或Attention)的输出进行降维+可视化, 输出图片给人眼看是否有联系
Attention is not Explanation
Probing
1.Probing(探针)=分类器
基于这一层的输出, 训练判断词性(或其它特性)的分类器, 来确定这一层是否学到了词性方面的信息.
但是要小心可能单纯是分类器没有训练好/或训练太好, 导致无法分别.
2. Probing(探针)=生成器
利用某一层的输出, 复现网络的输入
看出网络抹去了哪些特征, 学到了哪些特征
Global
不是对单个样本为什么选择
而是根据整个模型参数, 找出模型想象中的猫
1.以网络输出最大为优化目标训练输入
创造一张图片, 其中包含filter (网络)想要侦测的像素
把像素值当作训练的参数, 使得某层输出的feature map值(整个网络输出)大.
找出的值用X*表示, 观察X*的特征
其中aij是feature map中的元素
其中yi是整个网络的输出.
寻找的方法不是梯度下降而是梯度上升(gradient ascent).
如果寻找的时候不加限制, 输出的图片是杂讯:
加限制--图片要像数字. 此处的限制R()是有笔画的地方越少越好
此时得到的图片:
要得到很像人类的图片其实很难, 要根据对影像的了解下非常多的限制, 对超参数微调.
2. Generator
将生成器与分类器接在一起
此时不是找分类器的输入X, 而是生成器的输入Z
找到能使y最大的z, 记为z*, 再把z*输入生成器.
替代模型
用简单的模型模仿复杂模型的行为
再分析简单的可解释的模型
Local Interpretable Model-Agnostic Explanations (LIME)
线性模型无法模仿网络的所有行为, 只模仿一小区域的行为.
