XAI Explainable AI 模型可解释性（1）

前言: 搜索这个话题的壮士，一定是想寻找一种更适合自己模型可解释的方法，提升模型的可信和透明度，帮助于模型优化改进或者模型识别和防止偏差等等。故这里不再把时间浪费在什么是可解释这样的问题上。笔者把目前的解释性方法汇总在下面，并持续更新。

总的来说：常规的模型解释的核心思路：想办法使用一系列可解释的模型对复杂模型做解释，可解释的模型比如线性回归、逻辑回归、决策树等

三个层面：算法透明度——模型细节、全局可解释——全局输出、局部可解释——具体样本预测

以下我们分三部分：传统的机器学习的可解释性方法、神经网络的可解释方法、关注双模型的不一致性解释（一种打破固有思路的解释方法）。

一、机器学习中的模型解释

Permutation Feature Importance / eli5

基本思想：假设要研究特征的重要性，那么将这列数据打乱，其他列的数据保持不变，然后观察预测的metric(eg.准确率)或者loss变化了多少，根据变化量来决定特征重要性。如果打乱以后对准确率没什么影响的话，可以认为这个特征没什么作用，特征重要性很低。

Partial Dependency Plots

展示模型中一个或者两个特征的边际效应。

ICE（Individual Conditional Expectation）

ICE 是升级版的PDP，能深入到单个样本，分析特征变化对单个样本的影响。

LIME Local Interpretable Model-Agnostic Explanation

shapley值

GAMS

GAMs和标准线性模型非常相似，只不过是将线性回归的每一项用一个灵活的函数f(x)表示。本质上依然是对特征的影响进行求和。

深度学习部分见下节

资料来源：

论文：

[15] Friedman, J. (2001). Greedy Function Approximation: A Gradient Boosting Machine. The Annals of Statistics, 29(5):1189–1232. :

https://statweb.stanford.edu/~jhf/ftp/trebst.pdf
[16] Goldstein, A., Kapelner, A., Bleich, J., and Pitkin, E., Peeking Inside the Black Box: Visualizing Statistical Learning With Plots of Individual Conditional Expectation. (2015) Journal of Computational and Graphical Statistics, 24(1): 44-65:

https://arxiv.org/abs/1309.6392
[17] Lundberg S M, Erion G G, Lee S I. Consistent individualized feature attribution for tree ensembles[J]. arXiv preprint arXiv:1802.03888, 2018.:

https://arxiv.xilesou.top/abs/1802.03888
[18] Ribeiro M T, Singh S, Guestrin C. Why should i trust you?: Explaining the predictions of any classifier[C]//Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. ACM, 2016: 1135-1144.:

https://dl_acm.xilesou.top/citation.cfm?Id=2939778
[19] Lundberg S M, Lee S I. A unified approach to interpreting model predictions[C]//Advances in Neural Information Processing Systems. 2017: 4765-4774.:

http://papers.nips.cc/paper/7062-a-unified-approach-to-interpreting-model-predicti
[20] Nori H, Jenkins S, Koch P, et al. InterpretML: A Unified Framework for Machine Learning Interpretability[J]. arXiv preprint arXiv:1909.09223, 2019.:

https://arxiv.org/pdf/1909.09223.pdf

[21] AI Explainability Whitepaper-Google:

https://storage.googleapis.com/cloud-ai-whitepapers/AI%20Explainability%20Whitepaper.pdf

开源库：

[22] eli5:

https://github.com/TeamHG-Memex/eli5
[23] pdpbox:

https://github.com/SauceCat/PDPbox
[24] shap:

https://github.com/slundberg/shap
[25] lime:

https://github.com/marcotcr/lime
[26] interpret:

https://github.com/interpretml/interpret
[27] skater:

https://github.com/oracle/Skater

XAI Explainable AI 模型可解释性（1）相关推荐

XAI Explainable AI 模型可解释性（3）
上篇提到深度学习中对隐层的分析,隐层分析需要进行大量神经元节点的分析,且只能分析到的神经元是否有意义,却无法进行优化改造.这篇我们分享一种新的思路,关注双模型的不一致性解释. 一个问题重新思考:我们什 ...
模型可解释性技术概览
XAI系列二:模型可解释性技术概览传统网络安全威胁分析依赖专家知识及基本的数据分析,然而随着攻击技术的复杂化.安全数据接入的多元化,高性能人工智能技术越来越多的应用到威胁分析中,试图解放安全行业的生 ...
可解释性 or 准确性？AI 模型就一定不能两者兼得吗？
2020-01-29 04:05:41 作者 | Cynthia Rudin.Joanna Radin编译 | 张大倩编辑 | 丛末模型的可解释性,已然成为了AI 领域最具挑战性的主题之一. 一般 ...
告别AI模型黑盒子：可解释性将是数据科学的下一个“超能力”
过去几年来,人工智能研究人员在图像识别.自然语言理解和棋类等领域取得了重大突破.但由于缺乏对复杂机器学习模型的真正理解,导致模型在传播时出现了偏见,这种偏见在零售.面部识别和语言理解等领域的应用中出现 ...
XAI之GS：全局代理(Global Surrogate，对黑盒机器学习执行模型可解释性的技术)的简介、常用工具包、案例应用之详细攻略
XAI之GS:全局代理(Global Surrogate,对黑盒机器学习执行模型可解释性的技术)的简介.常用工具包.案例应用之详细攻略目录
XAI/ML：机器学习可解释性之模型洞察之为什么以及什么时候你需要洞察力?
XAI/ML:机器学习可解释性之模型洞察之为什么以及什么时候你需要洞察力? 目录 Why and when do you need insights? 1.What Types of Insights ...
XAI之ALE：基于titanic泰坦尼克数据集对RF算法利用ALE累积局部效应图可视化算法进而实现模型可解释性案例
XAI之ALE:基于titanic泰坦尼克数据集对RF算法利用ALE累积局部效应图可视化算法进而实现模型可解释性案例目录基于titanic泰坦尼克数据集对RF算法利用ALE累积局部效应图可视化算法 ...
浅谈AI模型的可解释性、安全性与正义性（中）
前言上篇谈到可以用 Dalex 来探索和解释模型的具体推理过程,这篇我们继续聊聊 AI 模型在面对歧义性偏差.对抗样本攻击和隐私泄露这些安全性方面遭遇到的挑战. 安全性人工智能的安全性是个全新的领 ...
机器学习应用方向(三)～可解释机器学习Explainable ML/Explainable AI
目录 1. 背景 2. 方法 2.1 概念 2.2 方法目的 2.3 方法途径参考: 1. 背景 Problem:最新的机器学习或深度学习模型的有效性受限于机器向人类和用户解释它想法和行为的能力. ...

XAI Explainable AI 模型可解释性（1）

XAI Explainable AI 模型可解释性（1）相关推荐

最新文章

热门文章