Explainable

Explainable/Interpretable ML

两种类型

Local Explanation
Why do you think this image is a cat?
Global Explanation
What do you think a “cat” looks like?

Point of Explainable ML

解释Ml的目的并不是完全的知道Ml model 的工作原理
- 人类的大脑同样是一个黑盒子
- 不相信训练网络因为它是黑盒子，但是人们相信人类的判断
ML Explanation的目标是让你觉得理解，对不同的人有不同的解释

Interpretable v.s. Powerful

一些模型是容易被解释的，
- 例如，linear model 从权重可以知道feature的重要性
深度学习不容易被解释
- 黑盒子
- 但是比linear model 更加powerful
desision tree
- 可以被解释，同时powerful？
- 然而很多时候，tree是很复杂的，我们用的是forest，无法完全解释它。

Local Explanation

components 拿掉或者改动，这个coponents 对结果的改变影响很大，这就是重要的component


移动灰色方块，灰色放在蓝色部分辨识狗狗几率变小，红色部分，机器辨识度高。这方法要小心方块的大小。方块颜色也要选择。	画saliency map，通过，改变x向量，计算gradient，看哪些grdient 比较大，计算哪些pixcel 比较重要，每个点的亮度表示，yk对xn的偏微分绝对值


其他方法	gradient 有时会遇到瓶颈，可以使用右边2种方法。

interpretation 同样可以会被attack，一些杂讯会使saliency变化很大。

Global Explanation

Activation Minimization

手写数字分类的例子


取出模型对应数字的output，使他yi几率最大，显示理想的数字图片长什么样子。	yi 越大越好，同时图片看起来像数字。 R(x)表示图片看起来多像一个数字。因为多数区域没有数值，这里R(x)把所有有数值的pixel 加起来。计算通过pixel的强度。

画出心里理想部件的时候，需要增加很多限制，然后暴调参数


找到一个最好的z，通过image generator，产生一个image，图片通过classifier以后，得到的y的一个class 越大越好。很深的network。	可以产生的结果，心里的蚂蚁，心里的火山，心里的修道院

用一种模型解释另外的模型

一些模型很容易被解释，用容易解释的模型去模仿不易解释的模型

lime

查看哪些segment，权重1，表示对结果影响最大。


	min Los， decision tree的复杂程度也要越小越好—》 tree regularization。
怎么微分？train一个network ，给他一个networkb的参数，可以计算出 networkb 转成decision tree 的深度。

Explainable相关推荐

机器学习应用方向(三)～可解释机器学习Explainable ML/Explainable AI
目录 1. 背景 2. 方法 2.1 概念 2.2 方法目的 2.3 方法途径参考: 1. 背景 Problem:最新的机器学习或深度学习模型的有效性受限于机器向人类和用户解释它想法和行为的能力. ...
【笔记】An explainable deep machine vision framework for plant stress phenotyping
<An explainable deep machine vision framework for plant stress phenotyping> 背景目前基于视觉症状的植物胁迫,由 ...
李宏毅机器学习2021】机器学习模型的可解释性 (Explainable ML)
explainable 和 Interpretability是有区别的: explainable是指的是一个东西原来是个黑箱,我们想办法赋予其解释的能力,就是explainable, Interpre ...
【李宏毅2020 ML/DL】P34 More about explainable AI | Attribution, Heatmap, explainable model
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...
【李宏毅2020 ML/DL】P26-33 Explainable ML
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...
可解释机器学习（Explainable/ Interpretable Machine Learning）的原理和应用（李宏毅视频课笔记）
文章目录 0 前言 1 Introduction of Explainable/ Interpretable ML 1.1 Why we need Explainable ML? 1.2 Interp ...
可解释的机器学习，用于科学的见解和发现（Explainable Machine Learning for Scientiﬁc Insights and Discoveries）
可解释的机器学习,用于科学的见解和发现(Explainable Machine Learning for Scientiﬁc Insights and Discoveries) 原文作者:Ribana ...
Explainable Artificial Intelligence Approaches: A Survey
Explainable Artificial Intelligence Approaches: A Survey 现有的一些工具:LIME, DeepVis Toolbox, TreeInterpre ...
可解释性机器学习( Explainable Artificial Intelligence (XAI) )文献阅读记录(1.1)
文章目录论文标题:Explainable Artificial Intelligence (XAI): Concepts, taxonomies,opportunities and challeng ...
时间序列论文: NeuralProphet: Explainable Forecasting at Scale
时间序列论文: NeuralProphet: Explainable Forecasting at Scale NeuralProphet之一:安装与使用 NeuralProphet之二:季节性(Se ...