背景

这篇文章考虑了一个新的causal inference设定：treatment不是简单的二元变量 ${0,1}\left\{0,1\right\}$ ，而是二元变量的组合 ${0,1}k\left\{0,1\right\}^k$ 。这个设定也比较好理解，还用医生治病的例子来说，通常医生使用的是多种药的组合。如果总共涉及到三种药物，而病人使用了第一种和第三种，则对应的 $k = 3$ ，treatment就是 $[1, 0, 1]$ 。

挑战

这个设定的挑战在于如何设计针对多个treatment的网络结构。在经典的TARnet和Dragonnet中，作者针对 $p (y ∣ t = 0, x)$ 和 $p (y ∣ t = 1, x)$ 都设计了不同的网络，如果本文也沿用这个方法，就会出现网络结构冗余的问题。比如例子中涉及到3个treatment的组合，那就要相应设计 $2^3=8$ 个网络，非常不高效，还会出现因为数据分布不均匀网络训练不准确的问题。

方法

整体的框架还是套用的CEVAE（可以参见笔者写的上一篇文章），创新之处在于引入了一个可学习的embedding matrix。

Encoder

网络结构如下图所示：

前向传播：首先输入 $x$ 会经过网络 $g_1$ 得到 $q(t∣x)=∏i=1kBern(qt,i)q(t|x)=\prod_{i=1}^k Bern(q_{t,i})$ ，然后从 $q (t ∣ x)$ 中采样得到 $t^{'}$ （这里有个问题就是怎么反向传播？采样得到 $t^{'}$ 没法反向传播吧），接下来 $t^{'}$ 会和一个embedding matrix $W$ 相乘得到新的表示 $τ=W⋅t′\tau=W\cdot t'$ 。新表示 $τ\tau$ 经过网络 $g_2$ 得到 $q(y|t,x)=N(g_2,1)$ ，这里方差设为1也是为了简单防止过拟合吧，避免网络中要学习太多变量。之后，作者把 $τ,x,g2\tau, x, g_2$ concatenate到一起得到 $g_3$ 和 $g_4$ 的输入， $g_3$ 和 $g_4$ 的输出恰好是 $q (z ∣ x, t, y)$ 的均值和方差。

Decoder

网络结构如下图所示：
前向传播：这里作者没写清楚decoder的输入 $z$ 怎么来的（吐槽一句，作者有很多细节都没写清楚），我猜测就是从encoder的输出采样得到。接下来先看下面四个网络 $f_1,f_2,f_3,f_4$ ，其实是针对 $x$ 的三种可能情形：二元变量、目录变量、连续变量，这里只以连续变量为例进行说明。 $f_1$ 和 $f_2$ 的输出分别是 $p (x ∣ z)$ 的均值和方差。 $f_5$ 的设计和 $g_1$ 基本一致，输出就是 $p(t∣z)=∏i=1kBern(pt,i)p(t|z)=\prod_{i=1}^k Bern(p_{t,i})$ ，然后继续采样得到 $t~\widetilde{t}$

，

t~\widetilde{t}

再与embedding matrix相乘得到

τ~=W⋅t~\widetilde{\tau}=W \cdot \widetilde{t}

。之后作者在文章里说把

τ~,x,z\widetilde{\tau},x,z

concatanate到一起作为

f_6

的输入，但根据流程图似乎没有

x

?(这个作者写作有点不认真啊，文章居然和图对不上)
作者没具体写出训练的目标函数（很迷，这么重要的东西居然文章里没有明确写出来），只是说利用和VAE类似的变分推断的方法，估计是和CEVAE差不多，先验分布也是标准正态分布。

总结

文章的亮点在于提出了multiple treatment的范式和embedding的解决思路，缺点在于作者写作实在太不严谨了，很多细节没交代清楚（当然也可能是我读的还不够细），类似于采样 $t$ 怎么反向传播、目标函数之类的都没有具体写出来。

【论文笔记】2019-WWW-Multiple Treatment Effect Estimation using Deep Generative Model with Task Embedding相关推荐

2019 ICCV best paper：sinGAN: Learning a Generative Model from a Single Natural Image解读
sinGAN: Learning a Generative Model from a Single Natural Image 论文地址: https://arxiv.org/abs/1905.011 ...
论文笔记-Towards Scene Understanding-Unsupervised Monocular Depth Estimation
论文信息标题: Towards Scene Understanding: Unsupervised Monocular Depth Estimation with Semantic-aware Re ...
论文笔记-Digging Into Self-Supervised Monocular Depth Estimation
论文信息标题: Digging Into Self-Supervised Monocular Depth Estimation 作者:Clement Godard, Oisin Mac Aodha, ...
论文笔记之：Multiple Feature Fusion via Weighted Entropy for Visual Tracking
Multiple Feature Fusion via Weighted Entropy for Visual Tracking ICCV 2015 本文主要考虑的是一个多特征融合的问题．如何有效的进 ...
论文笔记（五）【DENSITY ESTIMATION USING REAL NVP】
本文主要针对流模型中的RealNVP模型论文进行记录. 论文地址:DENSITY ESTIMSTION USING REAL NVP 非常不错的博客:苏剑林. (2018, Aug 26). < ...
【论文笔记】MultiPath: Multiple Probabilistic Anchor TrajectoryHypotheses for Behavior Prediction
摘要:人类行为预测是运动规划中一个困难而又关键的任务.这在很大程度上具有挑战性,因为在自动驾驶等现实世界的领域中,可能的结果具有高度的不确定性和多模态集合.除了单一MAP轨迹预测[1,2],获得未来的 ...
论文笔记：Jointly Multiple Events Extraction via Attention-based GraphInformation Aggregation
作者:崔金满单位:燕山大学 Abstract 在现实世界中,经常存在一个句子中包含多个事件的现象,提取多个事件比提取单个事件要困难,本文提出一种联合多事件提取框架,通过引入syntactic s ...
论文笔记：《Network Dissection: Quantifying Interpretability of Deep Visual Representations》
CVPR 2017 的 MIT 论文<Network Dissection: Quantifying Interpretability of Deep Visual Representation ...
【论文笔记】（JSMA）The Limitations of Deep Learning in Adversarial Settings
引流:https://www.cnblogs.com/setdong/p/16414390.html 本文是早期的对抗文章,发表于 EuroS&P 2016会议,最主要的工作是:提出了一个生成 ...

【论文笔记】2019-WWW-Multiple Treatment Effect Estimation using Deep Generative Model with Task Embedding

背景

挑战

方法

Encoder

Decoder

总结

【论文笔记】2019-WWW-Multiple Treatment Effect Estimation using Deep Generative Model with Task Embedding相关推荐

最新文章

热门文章