New interpretable deep learning model to monitor real-time PM2.5 concentrations from satellite data

1 文章概述

摘要

本文提出了一个新的深度学习模型—EntityDenseNet，用于从同步卫星上提供的高时间分辨率的数据提取出地面PM2.5浓度。该模型相比传统机器学习模型有更高的精度，且有更好的可解释性。对于类别数据，本文采取了一种新的方式进行编码。

引言

数据方面问题：

虽然世界各地都在监测PM2.5的浓度，但是地面站点分布的不够广泛且不均匀，这使得捕捉PM2.5的可变性和模型变得困难。所以基于卫星的气溶胶遥感(气溶胶光学厚度，AOD)已被广泛用于估算PM2.5。
两种卫星数据比较：
- Polar-orbiting satellites：在白天，每天只提供一次测量，这使得它不能监测空气质量的时间演变。
- Himawari-8：日本新一代气象卫星，以10分钟为间隔提供区域AOD数据，但没有实时PM2.5数据
Remote Sensing of Particulate Pollution from Space(2009)：回顾了200多项研究，并得出结论，AOD pm 2.5的精度为30%(最大值)，只有使用额外的输入参数(如气象和大气剖面信息)才能进行估计。但是通过模型模拟以相等的卫星空间分辨率(例如，5公里或1公里)和覆盖范围获得气象和大气剖面数据是非常耗时的，所以在没有气象或大气剖面信息的情况下仍能达到30%的监测pm 2.5精度的能力是有问题的。

神经网络方面：

独热编码存在两个问题：需要较高算力、且将各个分类视为相互独立

2 网络模型

2.1 模型结构

网络总体框架图如下：整体网络结构就是简单的BN layer、Dropout layer 和FC layer的堆叠。但是在两个隐藏层的传递过程中第一个隐藏层的输出乘了一个伯努利随机变量的向量(文中并没有对这个操作加以解释)。

输入数据处理部分：

本文将输入数据分为两个部分：离散变量(例如：月份，年，日期，小时，中国行政区划分等等)，和连续变量

离散数据的处理：

以月份为例子：本文通过生成一个12*D的随机二维矩阵，该矩阵的每一行(一维向量)对应于特定的月份信息。这个1 × D向量被附加到连续变量上，用于神经网络训练和预测，如下图所示。

连续数据的处理

每个连续变量x_i首先通过Z-score方法进行标准化，公式如下：

Normalized ( x i ) = x i − mean ⁡ ( x ) std ⁡ ( x ) std ⁡ ( x ) = 1 n − 1 ∑ i = 1 n [ x i − mean ⁡ ( x ) ] 2 \begin{array}{l} \text { Normalized }\left(x_{i}\right)=\frac{x_{i}-\operatorname{mean}(x)}{\operatorname{std}(x)} \\ \operatorname{std}(x)=\sqrt{\frac{1}{n-1} \sum_{i=1}^{n}\left[x_{i}-\operatorname{mean}(x)\right]^{2}} \end{array} Normalized (xi)=std(x)xi−mean(x)std(x)=n−11∑i=1n[xi−mean(x)]2

2.2 模型训练

文中各个层的权重采用Xavier初始化方法，该方法在近两年内开始被广泛使用，能有效提高模型的性能。“Xavier”初始化方法是一种很有效的神经网络初始化方法，方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》。文章主要的目标就是使得每一层输出的方差应该尽量相等。

详细方法：参考以下博客Xavier

在通过嵌入方法处理完类别数据后，文中使用了Uniform Manifold Approximation and Projection (UMAP)算法：它可以提供嵌入分类变量的高维特征空间的低维表示，同时保持原始特征空间的全局结构。利用UMAP将嵌入层矩阵从训练好的实体网映射到3D，使我们能够计算该3D坐标系中不同变量之间的余弦距离。余弦距离定义如下： CosineDistance = 1 − ∑ i = 1 n x i y i ∑ i = 1 n x i 2 ∑ i = 1 n y i 2 \text { CosineDistance }=1-\frac{\sum_{i=1}^{n} x_{i} y_{i}}{\sqrt{\sum_{i=1}^{n} x_{i}^{2}} \sqrt{\sum_{i=1}^{n} y_{i}^{2}}} CosineDistance =1−∑i=1nxi2 ∑i=1nyi2 ∑i=1nxiyi。两者余弦距离越小说明他们具有越高的相似性。