Extended Physics-InformedNeural Networks (XPINNs): A Generalized Space-Time Domain Decomposition Based Deep Learning Framework

Ameya D. Jagtap1,∗ and George Em Karniadakis1,2

期刊

Communications in Computational Physics

日期

2020

代码

代码链接

1 摘要

提出了更灵活分解域的XPINN方法，比cPINN区域分解更灵活，而且使用与所有方程。

2 背景

cPINN是通过区域分解，每个区域使用小的网络进行训练，使得求解时不同区域能够并行计算。论文提出的XPINN具有cPINN的区域分解的优势，同时还有以下优势

Generalized space-time domain decomposition，XPINN公式提供了高度不规则的、凸/非凸的时空域分解，由于这样的分解XPINN公式提供了高度不规则的、凸/非凸的时空域分解
XPINN公式提供了高度不规则的、凸/非凸的时空域分解
简单中间条件，在XPINN中，对于任意形状的界面来说，界面条件非常简单，不需要法线方向，因此，所提出的方法可以很容易地扩展到任何复杂的几何形状，甚至是更高维度的几何形状。

精确求解复杂的方程组，特别是高维方程组已经成为科学计算的最大挑战之一。XPINN的优点使其成为适合进行此类高维复杂模拟的候选对象，而这个高维模拟通常需要大量的训练成本的。

3 XPINN方法

描述：

Subdomains ：子域Ωq,q=1,2,⋯Nsd\Omega_{q}, q=1,2, \cdots N_{s d}Ωq,q=1,2,⋯Nsd是整个计算域Ω\OmegaΩ的非重叠子域，满足Ω=⋃q=1NsdΩq\Omega=\bigcup_{q=1}^{N_{s d}} \Omega_{q}Ω=⋃q=1NsdΩq和Ωi∩Ωj=∂Ωij,i≠j\Omega_{i} \cap \Omega_{j}=\partial \Omega_{i j}, i \neq jΩi∩Ωj=∂Ωij,i=j表示分解域的个数，子域的相交仅仅是在边界∂Ωij\partial \Omega_{i j}∂Ωij
Interface ：表示两个或者多个子域的共同边界对应的子网（sub-Nets）之间互通
sub-Net：子PINN是指每个子域中使用的具有自己的一组优化超参数的个体PINN
Interface Conditions: 这些条件用于将分解的子域连接在一起，从而得到完全域上的控制偏微分方程的解,根据控制方程的性质，一个或多个界面条件可以应用在共同界面上，如解连续性、通量连续性等

上图中X就是求解域，黑色实线表示区域的边界，黑色虚线表示interface。XPINN的基本interface条件包括强形式的连续性条件和在共同interface上强制不同子网给出的平均解。cPINN文中提到，为了稳定性，没有必要加平均解的条件，但实验也表明了会加快收敛速度。XPINN具有cPINN的所有优点，如并行化能力、大的表示能力、优化方法、激活函数、网络深度或宽度等超参数的高效选择。与cPINN不同，XPINN可以用于求解任何类型的偏微分方程，而不一定是守恒定律。在XPINN情况下，采用法向通量连续性条件不需要找到法向。这大大降低了算法的复杂性，特别是在具有复杂领域的大规模问题以及移动界面问题。

第qthq^{t h}qth个子域的神经网络输出定义为
uΘ~q(z)=NL(z;Θ~q)∈Ωq,q=1,2,⋯,Nsdu_{\tilde{\mathbf{\Theta}}_{q}}(\mathbf{z})=\mathcal{N}^{L}\left(\mathbf{z} ; \tilde{\mathbf{\Theta}}_{q}\right) \in \Omega_{q}, \quad q=1,2, \cdots, N_{s d}uΘ~q(z)=NL(z;Θ~q)∈Ωq,q=1,2,⋯,Nsd
最终解定义为
uΘ~(z)=∑q=1NsduΘ~q(z)⋅1Ωq(z)u_{\tilde{\mathbf{\Theta}}}(\mathbf{z})=\sum_{q=1}^{N_{s d}} u_{\tilde{\mathbf{\Theta}}_{q}}(\mathbf{z}) \cdot \mathbb{1}_{\Omega_{q}}(\mathbf{z})uΘ~(z)=∑q=1NsduΘ~q(z)⋅1Ωq(z)
其中
1Ωq(z):={0if z∉Ωq1if z∈Ωq\Common interface in the qthsubdomain 1Sif z∈Common interface in the qthsubdomain \mathbb{1}_{\Omega_{q}}(\mathbf{z}):=\left\{\begin{array}{ll} 0 & \text { if } \mathbf{z} \notin \Omega_{q} \\ 1 & \text { if } \mathbf{z} \in \Omega_{q} \backslash \text { Common interface in the } q^{t h} \text { subdomain } \\ \frac{1}{\mathcal{S}} & \text { if } \mathbf{z} \in \text { Common interface in the } q^{t h} \text { subdomain } \end{array}\right.1Ωq(z):=⎩⎨⎧01S1 if z∈/Ωq if z∈Ωq\ Common interface in the qth subdomain if z∈ Common interface in the qth subdomain
SSS表示S表示沿公共界面相交的子域数量

3.1 正、逆问题子域的损失函数

(1)正问题
在qthq^{t h}qth子域的{xuq(i)}i=1Nuq,{xFq(i)}i=1NFqand {xIq(i)}i=1NIq\left\{\mathbf{x}_{u_{q}}^{(i)}\right\}_{i=1}^{N_{u q}},\left\{\mathbf{x}_{F_{q}}^{(i)}\right\}_{i=1}^{N_{F q}} \text { and }\left\{\mathbf{x}_{I_{q}}^{(i)}\right\}_{i=1}^{N_{I q}}{xuq(i)}i=1Nuq,{xFq(i)}i=1NFq and {xIq(i)}i=1NIq表示training, residual, and the common interface points。Nuq,NFqandNIqN_{u_{q}}, N_{F_{q}} and N_{I q}Nuq,NFqandNIq分别代表对应的点的个数，每个子域使用一个PINN，uq=uΘ~tu_{q}=u_{\tilde{\Theta}_{t}}uq=uΘ~t,第qthq^{t h}qth个子域损失函数定义为
J(Θ~q)=WuqMSE⁡uq(Θ~q;{xuq(i)}i=1Nuq)+WFqMSE⁡Fq(Θ~q;{xFq(i)}i=1NFq)+WIqMSE⁡uavg(Θ~q;{xIq(i)}i=1NIq)⏟Interface condition +WIFqMSE⁡R(Θ~q;{xIq(i)}i=1NIq)⏟Interface condition +Additional Interface Condition’s ⏟Optional \begin{aligned} \mathcal{J}\left(\tilde{\mathbf{\Theta}}_{q}\right)=& W_{u_{q}} \operatorname{MSE}_{u_{q}}\left(\tilde{\mathbf{\Theta}}_{q} ;\left\{\mathbf{x}_{u_{q}}^{(i)}\right\}_{i=1}^{N_{u q}}\right)+W_{\mathcal{F}_{q}} \operatorname{MSE}_{\mathcal{F}_{q}}\left(\tilde{\boldsymbol{\Theta}}_{q} ;\left\{\mathbf{x}_{F_{q}}^{(i)}\right\}_{i=1}^{N_{F q}}\right) \\ &+W_{I_{q}} \underbrace{\operatorname{MSE}_{u_{a v g}}\left(\tilde{\boldsymbol{\Theta}}_{q} ;\left\{\mathbf{x}_{I_{q}}^{(i)}\right\}_{i=1}^{N_{I q}}\right)}_{\text {Interface condition }}+W_{I_{\mathcal{F}_{q}}} \underbrace{\operatorname{MSE}_{\mathcal{R}}\left(\tilde{\boldsymbol{\Theta}}_{q} ;\left\{\mathbf{x}_{I_{q}}^{(i)}\right\}_{i=1}^{N_{I q}}\right)}_{\text {Interface condition }} \\ &+\underbrace{\text { Additional Interface Condition's }}_{\text {Optional }} \end{aligned}J(Θ~q)=WuqMSEuq(Θ~q;{xuq(i)}i=1Nuq)+WFqMSEFq(Θ~q;{xFq(i)}i=1NFq)+WIqInterface condition MSEuavg(Θ~q;{xIq(i)}i=1NIq)+WIFqInterface condition MSER(Θ~q;{xIq(i)}i=1NIq)+Optional Additional Interface Condition’s
Wuq,WFq,WIFqand WIqW_{u_{q}}, W_{\mathcal{F}_{q}}, W_{I_{\mathcal{F}_{q}}} \text { and } W_{I_{q}}Wuq,WFq,WIFq and WIq代表不同损失的参数,
MSE⁡uq(Θ~q;{xuq(i)}i=1Nuq)=1Nuq∑i=1Nuq∣u(i)−uΘ~q(xuq(i))∣2MSE⁡Fq(Θ~q;{xFq(i)}i=1NFq)=1NFa∑i=1NFq∣FΘ~q(xFq(i))∣2\begin{array}{l} \operatorname{MSE}_{u_{q}}\left(\tilde{\mathbf{\Theta}}_{q} ;\left\{\mathbf{x}_{u_{q}}^{(i)}\right\}_{i=1}^{N_{u q}}\right)=\frac{1}{N_{u_{q}}} \sum_{i=1}^{N_{u q}}\left|u^{(i)}-u_{\tilde{\mathbf{\Theta}}_{q}}\left(\mathbf{x}_{u_{q}}^{(i)}\right)\right|^{2} \\ \operatorname{MSE}_{\mathcal{F}_{q}}\left(\tilde{\mathbf{\Theta}}_{q} ;\left\{\mathbf{x}_{F_{q}}^{(i)}\right\}_{i=1}^{N_{F q}}\right)=\frac{1}{N_{F_{a}}} \sum_{i=1}^{N_{F q}}\left|\mathcal{F}_{\tilde{\mathbf{\Theta}}_{q}}\left(\mathbf{x}_{F_{q}}^{(i)}\right)\right|^{2} \end{array}MSEuq(Θ~q;{xuq(i)}i=1Nuq)=Nuq1∑i=1Nuq∣∣∣u(i)−uΘ~q(xuq(i))∣∣∣2MSEFq(Θ~q;{xFq(i)}i=1NFq)=NFa1∑i=1NFq∣∣∣FΘ~q(xFq(i))∣∣∣2
MSE⁡uavg(Θ~q;{xIq(i)}i=1NIq)=∑∀q+(1NIq∑i=1NIq∣uΘ~q(xIq(i))−{{uΘ~q(xIq(i))}}∣2)MSE⁡R(Θ~q;{xIq(i)}i=1NIq)=∑∀q+(1NIq∑i=1NIq∣FΘ~q(xIq(i))−FΘ~q+(xIq(i))∣2)\begin{array}{l} \operatorname{MSE}_{u_{a v g}}\left(\tilde{\mathbf{\Theta}}_{q} ;\left\{\mathbf{x}_{I_{q}}^{(i)}\right\}_{i=1}^{N_{I q}}\right)=\sum_{\forall q^{+}}\left(\frac{1}{N_{I_{q}}} \sum_{i=1}^{N_{I_{q}}}\left|u_{\tilde{\mathbf{\Theta}}_{q}}\left(\mathbf{x}_{I_{q}}^{(i)}\right)-\left\{\left\{u_{\tilde{\mathbf{\Theta}}_{q}}\left(\mathbf{x}_{I_{q}}^{(i)}\right)\right\}\right\}\right|^{2}\right) \\ \operatorname{MSE}_{\mathcal{R}}\left(\tilde{\mathbf{\Theta}}_{q} ;\left\{\mathbf{x}_{I_{q}}^{(i)}\right\}_{i=1}^{N_{I q}}\right)=\sum_{\forall q^{+}}\left(\frac{1}{N_{I_{q}}} \sum_{i=1}^{N_{I_{q}}}\left|\mathcal{F}_{\tilde{\mathbf{\Theta}}_{q}}\left(\mathbf{x}_{I_{q}}^{(i)}\right)-\mathcal{F}_{\tilde{\Theta}_{q^{+}}}\left(\mathbf{x}_{I_{q}}^{(i)}\right)\right|^{2}\right) \end{array}MSEuavg(Θ~q;{xIq(i)}i=1NIq)=∑∀q+(NIq1∑i=1NIq∣∣∣uΘ~q(xIq(i))−{{uΘ~q(xIq(i))}}∣∣∣2)MSER(Θ~q;{xIq(i)}i=1NIq)=∑∀q+(NIq1∑i=1NIq∣∣∣FΘ~q(xIq(i))−FΘ~q+(xIq(i))∣∣∣2)
最后两项代表着interface 条件损失,第四项是在子域qqq和q+q^{+}q+的两个不同网络的残差连续条件,q+q^{+}q+代表qqq的领域MSER和MSEuavgMSE_{uavg}MSEuavg，都定义在所有相邻的子域,上式子中{{uΘ~q}}=uavg :=uΘ~q+uΘ~q+2\left\{\left\{u_{\tilde{\mathbf{\Theta}}_{q}}\right\}\right\}=u_{\text {avg }}:=\frac{u_{\tilde{\mathbf{\Theta}}_{q}}+u_{\tilde{\mathbf{\Theta}}_{q^{+}}}}{2}{{uΘ~q}}=uavg :=2uΘ~q+uΘ~q+(假设在公共界面上只有两个子域相交)，additional interface conditions，例如flux continuity ，ckc^{k}ck也能根据PDE的类型以及interface 方向被加损失中。
remark：

interface conditions 的类型决定了整个接口的解的正则性，从而影响收敛速度。在interface上的解是足够连续的，从而满足其控制PDE
足够多的interface point去连接子域，这对于算法的收敛很重要，特别是对于internal

对于逆问题:
J(Θ~q,λ)=WuqMSE⁡uq(Θ~q,λ;{xuq(i)}i=1Nuq)+WFqMSE⁡Fq(Θ~q,λ;{xuq(i)}i=1Nuq)+WIq{MSE⁡uavg(Θ~q,λ;{xIq(i)}i=1NIq)+MSE⁡λ(θ~q,λ;{xIq(i)}i=1NIq)}⏟Interface condition’s +WIFqMSE⁡R(Θ~q,λ;{xIq(i)}i=1NIq)⏟Intarf +Additional Interface Condition’s ⏟Optional \begin{aligned} \mathcal{J}\left(\tilde{\mathbf{\Theta}}_{q}, \lambda\right)=& W_{u_{q}} \operatorname{MSE}_{u_{q}}\left(\tilde{\boldsymbol{\Theta}}_{q}, \lambda ;\left\{\mathbf{x}_{u_{q}}^{(i)}\right\}_{i=1}^{N_{u_{q}}}\right)+W_{\mathcal{F}_{q}} \operatorname{MSE}_{\mathcal{F}_{q}}\left(\tilde{\boldsymbol{\Theta}}_{q}, \lambda ;\left\{\mathbf{x}_{u_{q}}^{(i)}\right\}_{i=1}^{N_{u_{q}}}\right) \\ &+W_{I_{q}} \underbrace{\left\{\operatorname{MSE}_{u_{a v g}}\left(\tilde{\boldsymbol{\Theta}}_{q}, \lambda ;\left\{\mathbf{x}_{I_{q}}^{(i)}\right\}_{i=1}^{N_{I q}}\right)+\operatorname{MSE}_{\lambda}\left(\tilde{\boldsymbol{\theta}}_{q}, \lambda ;\left\{\mathbf{x}_{I_{q}}^{(i)}\right\}_{i=1}^{N_{I q}}\right)\right\}}_{\text {Interface condition's }} \\ &+W_{I_{\mathcal{F}_{q}}} \underbrace{\operatorname{MSE}_{\mathcal{R}}\left(\tilde{\boldsymbol{\Theta}}_{q}, \lambda ;\left\{\mathbf{x}_{I_{q}}^{(i)}\right\}_{i=1}^{N_{I q}}\right)}_{\text {Intarf }}+\underbrace{\text { Additional Interface Condition's }}_{\text {Optional }} \end{aligned}J(Θ~q,λ)=WuqMSEuq(Θ~q,λ;{xuq(i)}i=1Nuq)+WFqMSEFq(Θ~q,λ;{xuq(i)}i=1Nuq)+WIqInterface condition’s {MSEuavg(Θ~q,λ;{xIq(i)}i=1NIq)+MSEλ(θ~q,λ;{xIq(i)}i=1NIq)}+WIFqIntarf MSER(Θ~q,λ;{xIq(i)}i=1NIq)+Optional Additional Interface Condition’s
其中
MSE⁡Fq(Θ~q,λ;{xuq(i)}i=1Nuq)=1Nuq∑i=1Nuq∣FΘ~q(xuq(i))∣2MSE⁡λ(Θ~q,λ;{xIq(i)}i=1NIq)=∑∀q+(1NIq∑i=1Nlq∣λq(xIq(i))−λq+(xIq(i))∣2)\begin{array}{l} \operatorname{MSE}_{\mathcal{F}_{q}}\left(\tilde{\boldsymbol{\Theta}}_{q}, \lambda ;\left\{\mathbf{x}_{u_{q}}^{(i)}\right\}_{i=1}^{N_{u_{q}}}\right)=\frac{1}{N_{u_{q}}} \sum_{i=1}^{N_{u_{q}}}\left|\mathcal{F}_{\tilde{\mathbf{\Theta}}_{q}}\left(\mathbf{x}_{u_{q}}^{(i)}\right)\right|^{2} \\ \operatorname{MSE}_{\lambda}\left(\tilde{\mathbf{\Theta}}_{q}, \lambda ;\left\{\mathbf{x}_{I_{q}}^{(i)}\right\}_{i=1}^{N_{I q}}\right)=\sum_{\forall q^{+}}\left(\frac{1}{N_{I_{q}}} \sum_{i=1}^{N_{l q}}\left|\lambda_{q}\left(\mathbf{x}_{I_{q}}^{(i)}\right)-\lambda_{q^{+}}\left(\mathbf{x}_{I_{q}}^{(i)}\right)\right|^{2}\right) \end{array}MSEFq(Θ~q,λ;{xuq(i)}i=1Nuq)=Nuq1∑i=1Nuq∣∣∣FΘ~q(xuq(i))∣∣∣2MSEλ(Θ~q,λ;{xIq(i)}i=1NIq)=∑∀q+(NIq1∑i=1Nlq∣∣∣λq(xIq(i))−λq+(xIq(i))∣∣∣2)
其他残差损失与正向损失一样。
**Remark：**需要注意的是，由于XPINN损失函数的高度非凸性，定位其全局最小值非常难。但是，对于几个局部极小值，损失函数的值是相似的，相应的预测解的精度是相似的。

3.2 优化方法

自动求导

3.3 误差

Eapp q=∥uaq−uqex∥Egen q=∥ugq−uaq∥Eopt q=∥uτq−ugq∥\begin{aligned} \mathcal{E}_{\text {app }} q &=\left\|u_{a_{q}}-u_{q}^{e x}\right\| \\ \mathcal{E}_{\text {gen }} q &=\left\|u_{g_{q}}-u_{a_{q}}\right\| \\ \mathcal{E}_{\text {opt }} q &=\left\|u_{\tau_{q}}-u_{g_{q}}\right\| \end{aligned}Eapp qEgen qEopt q=∥∥uaq−uqex∥∥=∥∥ugq−uaq∥∥=∥∥uτq−ugq∥∥
分别代表approximation error、 generalization error 以及optimization error.

uaq=arg⁡min⁡f∈Fq∥f−uqex∥u_{a_{q}}=\arg \min _{f \in F_{q}}\left\|f-u_{q}^{e x}\right\|uaq=argminf∈Fq∥∥f−uqex∥∥是真解uqexu_{q}^{e x}uqex的近似
ugq=arg⁡min⁡Θ~qJ(Θ~q)u_{g_{q}}=\arg \min _{\tilde{\mathbf{\Theta}}_{q}} \mathcal{J}\left(\tilde{\mathbf{\Theta}}_{q}\right)ugq=argminΘ~qJ(Θ~q)是全局最优解
uτq=arg⁡min⁡Θ~qJ(Θ~q)u_{\tau_{q}}=\arg \min _{\tilde{\mathbf{\Theta}}_{q}} \mathcal{J}\left(\tilde{\mathbf{\Theta}}_{q}\right)uτq=argminΘ~qJ(Θ~q)是子网络训练后得到的解，

最后XPINN的误差可以总结为
EXPINN:=∥uτ−uex∥≤∥uτ−ug∥+∥ug−ua∥+∥ua−uex∥\mathcal{E}_{X P I N N}:=\left\|u_{\tau}-u^{e x}\right\| \leq\left\|u_{\tau}-u_{g}\right\|+\left\|u_{g}-u_{a}\right\|+\left\|u_{a}-u^{e x}\right\|EXPINN:=∥uτ−uex∥≤∥uτ−ug∥+∥ug−ua∥+∥ua−uex∥
其中，(uex,uτ,ug,ua)(z)=∑q=1Nsd(uqex,uτq,ugq,uaq)(z)⋅1Ωq(z)\left(u^{e x}, u_{\tau}, u_{g}, u_{a}\right)(\mathbf{z})=\sum_{q=1}^{N_{s d}}\left(u_{q}^{e x}, u_{\tau_{q}}, u_{g_{q}}, u_{a_{q}}\right)(\mathbf{z}) \cdot \mathbb{1}_{\Omega_{q}}(\mathbf{z})(uex,uτ,ug,ua)(z)=∑q=1Nsd(uqex,uτq,ugq,uaq)(z)⋅1Ωq(z)

Remark：

当估计误差降低（数据拟合更好），泛化误差就会增加，这是一种bias variance trade-off，影响泛化误差的两个主要因素是the number and distribution of residual points
优化误差由损失函数的复杂性影响，网络结构深深影响优化误差

3.4 XPINN、cPINN，PINN对比

与PINN和cPINN框架相比，XPINN框架有很多优点，但是它也有一个与之前的框架相同的局限性。绝对误差
PDE解决方案,不会低于的水平，这是由于解决高维非凸优化问题所涉及的不准确性，可能会导致糟糕的极小值

Extended Physics-InformedNeural Networks (XPINNs)相关推荐

PINN内嵌物理知识神经网络投稿期刊总结
主要整理了目前内嵌物理神经网络投稿期刊喜欢可点赞关注,并收藏,您的支持就是我的写作的动力文章目录 PINN期刊热学期刊工程.计算机数学物理力学 PINN期刊热学期刊 Journal of ...
物理驱动深度学习（PINN）代码
主要总结了论文相关代码物理驱动深度学习代码 Physics-informed neural networks: A deep learning framework for solving forwa ...
物理信息驱动深度学习相关报告总结
物理信息驱动深度学习相关报告内嵌物理的深度学习,机器之心. 报告人:麻省理工学院陆路老师. 报告内容:本次分享将回顾将物理知识嵌入机器学习的一些趋势,介绍当前的一些常用方法,包括内嵌物理的神经网络( ...
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
Graph Neural Networks: A Review of Methods and Applications 图神经网络:方法与应用综述 Jie Zhou , Ganqu Cui , Zhe ...
Paper：《Graph Neural Networks: A Review of Methods and Applications—图神经网络:方法与应用综述》翻译与解读
Paper:<Graph Neural Networks: A Review of Methods and Applications-图神经网络:方法与应用综述>翻译与解读目录 < ...
GCN-LSTM预测道路交通车辆速度英文 Vehicle Speed Forecasting Based On GCN-LSTM Combined Model
GCN-LSTM模型预测道路交通车辆速度 GCN:又称GNN,图神经网络 LSTM:长短时记忆网络 Vehicle Speed Forecasting Based On GCN-LSTM Com ...
知物由学 | 听声辨人，看声纹识别技术如何保障内容安全？
大家对"指纹"并不陌生,但听说过"声纹"吗? "违法犯罪变得越来越困难了.如今罪犯都没法使用电话了,因为侦探们可以通过他们在话筒上留下的声纹来追踪他. ...
物理信息神经网络PINNs : Physics Informed Neural Networks 详解
本博客主要分为两部分: 1.PINN模型论文解读 2.PINN模型相关总结第一部分:PINN模型论文解读一.摘要基于物理信息的神经网络(Physics-informed Neural Netwo ...
Extended Physics-InformedNeural Networks论文详解
作者 Ameya D. Jagtap1,∗ and George Em Karniadakis1,2 期刊 Communications in Computational Physics 日期 202 ...

Extended Physics-InformedNeural Networks (XPINNs)