因果推理（十）：Causal Discovery from Observational Data

在前面的介绍中，假设我们知道因果图，我们就可以进行因果推论。如果我们不知道图表怎么办？我们可以学习吗？这将取决于我们愿意做出的假设。我们将这个问题称为结构识别，这与在前面看到的因果估计不同。

1. 基于独立的因果发现（Independence-Based Causal Discovery）

1.1 假设与定理

回顾马尔可夫假设，如果变量在图G中是d分隔的，那么它们在分布P中是独立的：

另一与马尔科夫假设相反的假设，我们称之为忠诚假设：

此假设使我们能够根据分布的独立性来推断图中的d分离。忠实度的假设比Markov假设的吸引力要小得多，因为它很容易想到反例（其中两个变量在P中是独立的，但是在G中有无阻碍的路径）。

上图中，当 α β = − γ δ \alpha \beta=-\gamma \delta αβ=−γδ时，A和D是相互独立的，但在上面的因果图中，A和D并没有被D分离。

除了忠诚以外，许多方法还假定没有观察不到的混杂因素，这被称为因果充分性：

然后，在马尔可夫，忠诚，因果充分性和非循环性假设下，我们可以部分识别因果图。

下面介绍马尔可夫等价类的概念。下面的三个因果图具有同样的独立性，都满足 X 1 X_1 X1和 X 3 X_3 X3不独立，但以 X 2 X_2 X2为条件时 X 1 X_1 X1和 X 3 X_3 X3独立。因此，如果我们仅仅从数据中知道他们的独立或依赖性，是没有办法判断真正的因果图是下图中的哪一个的。因此他们属于同一个马尔可夫等价类

如果两个图对应于同一组条件独立性，我们说它们是马尔可夫等价的。在忠实性条件下，如果图是马尔可夫等价类中唯一的图，则可以从数据中的条件独立性中识别出图。图的马尔可夫等价类中唯一图的例子就是下图的基本immorality图。对于下图， X 1 X_1 X1和 X 3 X_3 X3独立，但以 X 2 X_2 X2为条件时 X 1 X_1 X1和 X 3 X_3 X3不独立，它属于单独的马尔可夫等价类。

基本链和基本叉结构除了处于同一马尔可夫等价类，还有着同样的骨架（skeleton）：

如果用无向边替换所有有向边，则我们得到的结构就是图的骨架。

综上所述，我们指出了两个可以用来区分图形的结构特征：

Immoralities
Skeleton

结果表明，利用这两个结构性质，我们可以判断图是在相同的马尔可夫等价类中，还是在不同的马尔可夫等价类中：当且仅当两个图具有相同的骨架和相同的Immoralities 时它们属于同一马尔可夫等价类。

1.2 PC算法

PC算法是一种通过骨架和Immoralities 判断马尔可夫等价类从而识别因果图的算法。

PC算法从一个全连接的无向图开始，然后通过三个步骤对其进行修剪并确定边的方向：

确定骨架。
找出 immoralities 并加以定位。
根据非immoralities判断一些边的方向。

假如真实的因果图如上图所示，则用PC算法识别因果图的具体步骤如下。

识别骨架。首先从下面的（a）图开始。然后判断任两个结点的独立性，如果两个结点具有条件独立行（条件集可能为空），那么可以删除两个节点之间直接相连的边。判断条件独立性时可以从条件集为空开始，然后逐渐添加条件集中的结点来判断。这样，就可以得到图的骨架，（c）所示。

识别 Immoralities。现在对于我们骨架图中的任何形如 X — Z — Y X—Z—Y X—Z—Y的路径，我们发现在上一步中，在X和Z之间没有边，如果Z不在使X和Y条件独立的条件集中，那么我们知道， X — Z — Y X—Z—Y X—Z—Y形成了不道德。换句话说，我们知道以Z为条件使得X和Y不独立，Z是一个对撞节点，因此可以在图中添加 X → Z ← Y X \rightarrow Z \leftarrow Y X→Z←Y结构。

根据非immoralities判断一些边的方向。在最后一步中，我们利用了这样一个事实，即我们可能能够定位更多的边缘，因为我们知道我们在上一步中发现了所有的 immoralities。对于上一步得到的图中，C和D之间的边，只能由C指向D，因为如果D指向C的话就添加了新的immoralities。同理，C和E之间的边只能是C指向E。于是得到了最终的因果图。

在这个例子中，幸运的是，我们可以在最后一步中确定所有剩余边的方向，但通常情况并非如此。例如，我们讨论了不能区分简单链图和简单叉图。

1.3 可以更好的识别吗

我们已经看到，假设马尔可夫假设和忠实性只能让我们走到目前为止；有了这些假设，我们只能识别一个图到它的马尔可夫等价类。如果我们做更多的假设，我们能更准确地识别图而不仅仅是它的马尔可夫等价类吗？

如果我们是在分布是多项式的情况下，我们不能。或者，如果SCM是线性的且噪声是高斯的，我们不能。结论如下：

2. 半参数因果发现

基于独立的因果发现有三个不足：

需要很容易想到反例的忠诚假设。
为了判断条件独立性，需要大量样本。
只能识别到马尔可夫等价类。

在没有参数假设的情况下，不能识别精确的因果图。

2.1 线性非高斯噪声

线性非高斯假设：所以的结构方程都有 Y : = f ( X ) + U Y:=f(X)+U Y:=f(X)+U的形式，其中 f f f是线性方程， X X X独立于 U U U，并且 U U U的分布不是高斯分布。

基于上述假设，我们可以分辨 X ← Y X\leftarrow Y X←Y和 X → Y X \rightarrow Y X→Y。

2.2 非线性模型