机器学习可解释性(一)

机器学习可解释性(一)
机器学习可解释性(二) 之可解释模型
机器学习可解释性(三) 之模型无关方法
机器学习可解释性(四) 之 shap

文章目录

what: 什么是可解释性（interpretability)
why: 为什么需要可解释性
how：如何进行可解释性分析
self-thinking：个人理解

Kaggle Notebook GM 排名第二的 Dan Becker 在他的推送 What 70% of Data Science Learners Do Wrong 中特意提到了一点：

Learn how to interpret model output. For example, you need to understand measures of model accuracy to know if you can trust a model. Learn machine learning explainability techniques, like permutation importance.

这位大佬目前在kaggle上开源了180+个专家级别的notebook。那么受到这么重量级人物推荐的 模型可解释性 到底是何方神圣，我们就来一探究竟。

what: 什么是可解释性（interpretability)

可解释性是以一种人类可理解的方式将特征值与模型预测联系起来，使人们能够认可模型预测结果。通俗一点说，就是把原本黑盒的模型变得透明化，使有经验水平的用户都可以明白模型的含义。

机器学习模型的可解释性越高，人就越容易理解为什么做出某些决策或预测。如果一个模型的决策比另一个模型的决策能让人更容易理解，那么它就比另一个模型有更高的解释性。

但这里要注意一点，假设有一个包含成千上万neuron的神经网络，对其进行可解释性分析需要细致地探究到每一个neuron如何传播吗？其实不然。可解释性不需要知道网络里面的每一个数字，每一个矩阵，每一个激活函数。这里又要引出第二个问题，那就是我们为了什么需要可解释性。

why: 为什么需要可解释性

对于一个运行良好的机器学习模型，除了知道模型的预测是什么（例如，客户流失的概率或某种药物对病人的疗效），还会涉及到模型为什么做出这样的预测。

考虑一个哈士奇与狼分类器的例子，分类器将一些哈士奇误分类为狼。使用可解释的机器学习方法，你会发现错误分类是由于图像上的雪造成的。分类器学会了使用雪作为一个特征来将图像分类为狼，这对于在训练数据集中分离狼和哈士奇可能是有道理的，但在实际使用中则不然。

对于模型的可解释性分析可以在一定程度上帮助人们更好的理解模型行为，有时候为了解释预测结果甚至可以牺牲预测性能。

进行可解释性分析，在建模阶段，可以辅助开发人员理解模型，进行模型的对比选择，必要时优化调整模型；在投入运行阶段，可以向业务方解释模型的内部机制，对模型结果进行解释。比如银行信用评分模型，需要向未通过的申请者解释为何拒绝他们的申请。

对于可解释性的需求，可以大致归结于如下两个方面：

渴望获取知识（学习能力）：如果模型仅给出预测而没有解释，那么我们无法捕获到模型从数据中获取的知识。
渴望找到事物不一致的原因（好奇心）：如果机器学习模型拒绝了贷款申请，对于申请者来说，他们需要知道为什么结果与预期不一致。

当然，并非所有情况下模型都需要可解释性：

在低风险的环境中使用的模型不需要，因为即使结果错误也不会造成严重后果（如电影推荐系统）
已经被广泛研究和评估的方法 (例如，光学字符识别 OCR) 也不需要

how：如何进行可解释性分析

在介绍如何进行可解释性分析之前，需要了解一个很有干扰性的概念：算法透明度。

算法透明度：指算法如何从数据中学习模型，以及它可以学习到什么样的关系 —> 是对算法如何工作的理解。
如线性模型的最小二乘法等算法已被深入地研究和理解，它们的特点是透明度高。深度学习方法 (通过具有数百万权重的网络推动梯度) 不太容易理解，对其内部工作机制的探究是当前的研究重点，它们被认为是低透明度的。
模型可解释性：是对最终学习的特定模型的理解 —> 是对数据和学习模型的理解。

了解了两者的区别后，进行可解释性分析时，需要着重关注如下两点：

全局层面：对于训练好的模型，哪些特征是最重要的或者是不重要的 —> 特征重要性。
全局的模型可解释性有助于基于特征理解目标结果的分布
模块层面：特征是如何影响该模型的预测过程。
对于线性模型，可以通过特征的权重来定量的衡量每个特征对最终预测结果的影响程度，对于树来说，可以借助分裂节点和叶节点预测。

该部分的介绍会穿插在下面的两类方法中。

关注上述两点时，根据可解释性方法的作用阶段，可以分为：

本质 (intrinsic): 通过限制机器学习模型的复杂性 (训练阶段) —> 采用结构简单的具有可解释性的机器学习模型，如单颗决策树模型、线性模型。
事后 (post-hoc): 在训练后通过分析特征输入和输出解释模型（预测阶段）—>采用与模型无关的解释方法，如置换特征重要性、特征依赖图。

关于 可解释的模型 和 模型无关方法，后续会分别介绍。

在关注 特征是如何影响模型预测 时，根据可解释性方法的使用范围，可以分为：

局部：解释特征对于单个实例预测结果的影响。
全局：解释特征对于整个模型预测结果的影响。

对于一组实例预测的解释，可以将其视为一个完整的数据集，使用全局方法分析；也可以对每个实例使用单独的局部解释方法，然后为整个组列出其结果或对结果进行聚合。所以在上面不单独列出。

该部分的介绍会穿插在基于模块层面的介绍中。

self-thinking：个人理解

对于模型可解释性的需求在深度学习领域格外突出。试想某天无人驾驶车真的可以上路了，你真的会放开方向盘在车里刷手机吗？只有当人们可以去解释其背后的算法，才能建立起人们与模型之间的信任。否则就只能靠漫长的实践去证明。就像第一次使用支付宝时，大家都曾有过质疑：转进去的钱安全吗？最后阿里用时间证明了一切。

最后，想要成为一个高级算法研究人员或者开发人员，理解模型的行为一定是绕不开的一环。希望我们都早日成为自己崇拜的那个人。