#Paper Reading# TabNet: Attentive Interpretable Tabular Learning

论文题目: TabNet: Attentive Interpretable Tabular Learning
论文地址: https://arxiv.org/abs/1908.07442
论文发表于: arXiv 2019

论文大体内容：
本文主要提出了TabNet模型，能够高效地在tabular数据上完成分类/回归的任务，且具可解释性。本文提出的模型是用DNN的方式获得树模型的可解释性，且超越树模型的效果。

Motivation：
tabular数据一般都使用树模型去处理，怎么用DNN去实现树模型的效果，并也能获得模型的可解释性，是打破DNN黑盒子的一个方法。

Contribution：
TabNet有以下特性：
①直接使用raw feature，不需要手动feature selection，能够end2end生成；
②sequential attention去进行feature selection，而且是instance-wise（每个样本不一样）；
③tabnet在分类和回归任务比其它模型效果好，且具可解释性，
包括每个特征当前的特征重要性（局部可解释性），每个特征对label的影响（全局可解释性）
④是第一个用于tabular数据的自监督学习模型；

1. DNN模型实现树模型的功能
①通过mask（feature selection）；
②FC+ReLU，再加起来，最后过一层softmax，则可以得到如右图的分界；

2. TabNet的整体框架

3. 输入的feature：f ∈ R^(B*D)，B是batch_size，D的feature的维度；

4. Feature transformer：包含4层，其中2层是共享的，2层是每一步独立的；

5. split：产出2个信息：d[i]和a[i]，d[i]是用于输出预测结果的，a[i]是用于给后续的attention做输入的；

6. Attention transformer：产出M[i]，代表Mask；

7. 最终产出结果

8. 自监督学习的做法：（类似用word2vec产出embedding，再进行找相似）

9. 可解释性的计算（特征重要性）
ηb衡量第b个样本输出的重要性，M衡量特征重要性；

实验
本文做的实验比较多，主要关注下面几个点：
①效果与其它模型比，是否更好；
②特征选择是否能实现；
③在自监督学习上的表现；

10. Dataset
人工数据集；
Poker Hand；
Higgs Boson；
KDD数据集；
Adult Census Income；
等等；

11. Baseline
Lasso；
xgboost；
lightgbm；
catboost；
MLP；
等等；

12. Metric
ACC；
MSE；
AUC；
等等；

13. 实验结果

参考资料：
[1] https://github.com/dreamquark-ai/tabnet
[2] https://github.com/google-research/google-research/tree/master/tabnet
[3] https://zhuanlan.zhihu.com/p/126755362

以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！

#Paper Reading# TabNet: Attentive Interpretable Tabular Learning相关推荐

论文解读9——TabNet: Attentive Interpretable Tabular Learning
目录 1.文章贡献 2.决策流型 3.TabNet模型结构好久没有更读论文的总结了,中途有几篇读了还没来得及记录,开学杂事一多竟然已经过了一个多月了--好吧其实就是自己懒,时间挤挤还是有的. 下面就 ...
Paper reading (十八)：Machine learning applications in genetics and genomics
论文题目:Machine learning applications in genetics and genomics scholar 引用:528 页数:12 发表时间:2015.05 发表刊物:n ...
【Paper Reading FedBCD: A Communication-Efficient Collaborative Learning Framework for DF
FedBCD: A Communication-Efficient Collaborative Learning Framework for Distributed Features 原文来源:[TS ...
Paper Reading 《SimCSE》
Paper Reading: SimCSE SimCSE: Simple Contrastive Learning of Sentence Embeddings 尚未发表.Github. Paper. ...
#Paper reading#DeepInf: Social Influence Prediction with Deep Learning
#Paper reading# DeepInf: Social Influence Prediction with Deep Learning 设计了一个端到端的框架DeepInf,研究用户层面的社会 ...
cvpr2019/cvpr2018/cvpr2017（Papers/Codes/Project/Paper reading）
cvpr2019/cvpr2018/cvpr2017(Papers/Codes/Project/Paper reading) Source:https://mp.weixin.qq.com/s/SmS ...
[paper reading] RetinaNet
[paper reading] RetinaNet GitHub:Notes of Classic Detection Papers 本来想放到GitHub的,结果GitHub不支持公式. 没办法只能 ...
[paper reading] ResNet
[paper reading] ResNet GitHub:Notes of Classic Detection Papers 本来想放到GitHub的,结果GitHub不支持公式. 没办法只能放到C ...
[paper reading] 译 + 注：如何阅读 Research Papers（Andrew Ng）
[paper reading] 译 + 注 :如何阅读 Research Papers(Andrew Ng) 本文基于吴恩达老师 (Andrew Ng) 在 Stanford Deep Learnin ...

#Paper Reading# TabNet: Attentive Interpretable Tabular Learning

#Paper Reading# TabNet: Attentive Interpretable Tabular Learning相关推荐

最新文章

热门文章