如何解决机器学习树集成模型的解释性问题

作者: SAMshare 2019-10-22 10:12:45

01 机器学习模型不可解释的原因

前些天在同行交流群里,有个话题一直在群里热烈地讨论,那就是 如何解释机器学习模型 ,因为在风控领域,一个模型如果不能得到很好的解释一般都不会被通过的,在银行里会特别的常见,所以大多数同行都是会用 LR 来建模。但是,机器学习的模型算法这么多,不用岂不是很浪费?而且有些算法还十分好用的,至少在效果上,如XGBoost、GBDT、Adaboost。

那么,有同学就会问了,为什么这些算法会没有解释性呢?其实是这样子的,刚刚所说的那些模型都是一些集成模型,都是由复杂的树结构去组成的模型,对于人类来说我们很难直观地去解释为什么这个客户就是烂,到底是什么特征导致他烂?

02 特征重要度方法盘点

其实像XGBoost之类的模型还算是有解释性的了,我们常常都会看到有人用信息增益、节点分裂数来衡量特征的重要度,但是这真的是合理的吗?

在解释是否合理前,有2个概念需要先给大家普及一下:

1)一致性

指的是一个模型的特征重要度,不会因为我们更改了某个特征,而改变其重要度。比如A模型的特征X1的重要度是10,那么如果我们在模型里给特征X2加些权重以增大其重要度,重新计算重要度后,特征X1的重要度仍是10。不一致性可能会导致具有重要度较大的特征比具有重要度较小的特征更不重要。

2)个体化

指的是重要度的计算是可以针对个体,而不需要整个数据集一起计算。

好了,有了上面的认识,下面就来盘点一下目前常见的特征重要度计算的方法:

1)Tree SHAP:即 shapley加法解释,基于博弈论和局部解释的统一思想,通过树集成和加法方法激活shap值用于特征归因。

2)Saabas:一种个性化启发式特征归因方法。

3)mean(| Tree SHAP |):基于个性化的启发式SHAP平均的全局属性方法。

4)Gain:即增益,由Breiman等人提出的一种全局的特征重要度计算方法,在XGBoost、scikit learn等包中都可以调用,它是给定特征在分裂中所带来的不纯度的减少值,经常会被用来做特征选择。

5)Split Count:即分裂次数统计,指的是给定特征被用于分裂的次数(因为越重要的越容易被引用,和论文引用差不多一个道理吧)。

6)Permutation:即排序置换,指的是随机排列某个特征,看下模型效果误差的变化,如果特征重要的话,模型误差会变化得特别大。

其中,属于个体化的仅有1-2,3-6均属于全局性统计,也就是说需要整个数据集进去计算的。

而对于一致性情况,我们有一个例子来证明:

有2个模型,Model A 和 Model B,其中A和B完全一致,但是我们在计算预测值的时候,强行给 Model B 的 特征 Cough 加上 10分。如下图所示(点击看大图):

从实验结果可以看出以上6种方法的差别:

1)Saabas、Gain、Split Count均不满足 一致性 的要求,在改变了某个特征的权重之后,原先的特征重要度发生了改变,也直接导致重要度排序的改变。

2)而满足一致性要求的方法只有 Tree SHAP 和 Permutation了,而Permutation又是全局的方法,因此就只剩下了 Tree SHAP了。

03 SHAP可能是出路,SHAP到底是什么

SHAP(Shapley Additive exPlanation)是解释任何机器学习模型输出的统一方法。SHAP将博弈论与局部解释联系起来,根据期望表示唯一可能的一致和局部精确的加性特征归属方法。

以上是官方的定义,乍一看不知所云,可能还是要结合论文(Consistent Individualized Feature Attribution for Tree Ensembles)来看了。

Definition 2.1. Additive feature attribution methods have an explanation model g that is a linear function of binary variables

M是输入特征的个数, ϕi’ 就是特征的贡献度。ϕ0 是一个常数(指的是所有样本的预测均值)。SHAP 值有唯一的解,也具有3个特性:Local Accuracy、Missingness、Consistency。

1)Local Accuracy:即局部准确性,表示每个特征的重要度之和等于整个Function的重要度

2)Missingness:即缺失性,表示缺失值对于特征的重要度没有贡献。

3)Consistency:即一致性,表示改变模型不会对特征的重要度造成改变。

简单来说,SHAP值可能是唯一能够满足我们要求的方法,而我们上面讲到的XGBoost、GBDT等都是树模型,所以这里会用到 TREE SHAP。

04 SHAP的案例展示

0401 SHAP的安装

安装还是蛮简单的,可以通过终端的pip安装或者conda安装

  1. pip install shap  
  2. or  
  3. conda install -c conda-forge shap 

0402 对树集成模型进行解释性展示

目前TREE SHAP可以支持的树集成模型有XGBoost, LightGBM, CatBoost, and scikit-learn tree models,可以看看下面的demo:

  1. import xgboost  
  2. import shap  
  3. # load JS visualization code to notebook  
  4. shap.initjs()  
  5. """训练 XGBoost 模型,SHAP里提供了相关数据集"""  
  6. X,y = shap.datasets.boston()  
  7. model = xgboost.train({"learning_rate": 0.01}, xgboost.DMatrix(X, label=y), 100)  
  8. """  
  9. 通过SHAP值来解释预测值  
  10. (同样的方法也适用于 LightGBM, CatBoost, and scikit-learn models)  
  11. """  
  12. explainer = shap.TreeExplainer(model)  
  13. shap_values = explainer.shap_values(X)  
  14. # 可视化解释性 (use matplotlib=True to avoid Javascript)  
  15. shap.force_plot(explainer.expected_value, shap_values[0,:], X.iloc[0,:]) 

output:

上面的图展示了每个特征的重要度,会预先计算好一个均值,将预测值变得更高的偏向于红色这边,反之蓝色。

这个数据集有这些特征:'CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT'

  1. # visualize the training set predictions  
  2. shap.force_plot(explainer.expected_value, shap_values, X) 

output:

上图可以看出每个特征之间的相互作用(输出图是可以交互的)。

但是为了理解单个特性如何影响模型的输出,我们可以将该特性的SHAP值与数据集中所有示例的特性值进行比较。由于SHAP值代表了模型输出中的一个特性的变化,下面的图代表了预测的房价随着RM(一个区域中每栋房子的平均房间数)的变化而变化的情况。

单一RM值的垂直色散表示与其他特征的相互作用。要帮助揭示这些交互依赖关系,dependence_plot 自动选择 另一个特征来着色。比如使用RAD着色,突显了RM(每户平均房数)对RAD的值较高地区的房价影响较小。

  1. """创建一个SHAP图用于展示 单一特征在整个数据集的表现情况,每个点代表一个样本"""  
  2. shap.dependence_plot("RM", shap_values, X) 

output:

为了得到整体水平上每个特征的重要度情况,我们可以画出所有特征对于所有sample的SHAP值,然后根据SHAP值之和来降序排序,颜色代表特征重要度(红色代表高,蓝色代表低),每个点代表一个样本。

  1. """画出所有特征的重要度排序图"""  
  2. shap.summary_plot(shap_values, X) 

output:

我们也可以只是显示SHAP值的所有样本的均值,画出bar图。

  1. shap.summary_plot(shap_values, X, plot_type="bar"

output:

References

[1] A Unified Approach to Interpreting Model Predictions

https://papers.nips.cc/paper/7...

[2] Consistent Individualized Feature Attribution for Tree Ensembles

https://arxiv.org/pdf/1802.03...

[3] Interpretable Machine Learning

https://christophm.github.io/...

[4] shap 官方文档

https://github.com/slundberg/...

本文由博客一文多发平台 OpenWrite 发布!

机器学习 模型 人工智能
上一篇:超过美日,中国人工智能为什么领先全球? 下一篇:【大咖·来了 第3期】海量日志分析与智能运维
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

机器学习变革物流运输和交通出行

云和机器学习的融合催生了自动驾驶技术尤其是人们出行方式的广泛创新,正在改变整个行业的游戏规则。根据普华永道(PWC)的数据,68%的物流运输企业负责人认为,未来5年,提供物流运输服务的核心技术的改变将颠覆整个行业。

AWS大中华区云服务产品管理总经理顾凡 ·  1天前
人工智能可以塑造活动产业的未来吗?

活动组织者可以为活动管理引入AI,以使他们的活动更加成功。现场活动是很好的营销方式,也是增强业务与客户关系的优秀方式。根据一项调查,84%的领导者认为活动是其业务成功的关键因素。技术的使用正在改变活动的计划和组织方式。

佚名 ·  1天前
提升城市气质守护宜居环境 AI打通治理闭环

人工智能被一些研究人员称为“21世纪的电力”,认为其几乎可以为万事万物提供动力。而在城市加速发展的当下,人工智能也渐渐成为了新型智慧城市建设的“推动者”和“守望者”。

今夕何夕 ·  1天前
12个场景应用,百余种算法,AI是如何攻占经济学的?

在虚拟世界中模拟现实经济状况,想法设计更好的制度只是AI和经济学结合方式之一。其实深度强化学习在面临风险参数和不确定性不断增加的现实经济问题时,也可以提供更好的性能和更高的精度。

蒋宝尚 ·  2天前
你在打王者农药,有人却用iPhone来训练神经网络

在 iOS 设备上也可以直接训练 LeNet 卷积神经网络,而且性能一点也不差,iPhone 和 iPad 也能化为实实在在的生产力。

佚名 ·  2天前
未来20年,全自动驾驶和互联汽车会出现吗?

在这篇博文中,重点介绍了汽车技术如何使交通更安全、更智能、更有趣。

Huibert Verhoeven ·  2天前
AI、机器学习和深度学习是 OEM 的主要市场

人工智能(AI)正在迅速改变全球行业参与者的经营方式。人工智能(AI)正在迅速改变全球行业参与者的经营方式。随着人工智能在商业和商业领域的广泛应用,我们看到了从更智能的产品到专注于聚焦客户服务的一切演变。

佚名 ·  2天前
和AI去码一样神奇?AI上色是黑科技还是逗你玩

在图片处理领域这块,AI 刷的存在感越来越多。早前笔者就介绍过 AI 无损放大图片、AI 去除马赛克、AI 自动给线稿上色之类的玩法,现在,又有人给笔者推荐了一个 AI 黑科技——黑白照片一键变彩色。

Aimo ·  2天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载