FNO（傅里叶算子神经网络在PDEs求解上的应用） FNO：傅里叶算子神经网络在P

Fourier Neural Operator(FNO)求解非线性偏微分方程 FNO的前世今生
继上次的DeepONet求解偏微分方程的文章，这次是介绍结合傅里叶算子和图神经网络的方法，也就是傅里叶神经算子方法，这篇创造性地引入了傅里叶算子，获得了可以与DeepONet扳手腕的速度和经度

Li, Zongyi, et al. "Fourier neural operator for parametric partial differential equations." International Conference on Learning Representing, 2021. (arXiv preprint arXiv:2010.08895).

DeepONet的作者陆路博士还将FNO与DeepONet进行了比较，也进行了一些拓展，有兴趣的读者可以参考以下的论文：

Lu, Lu, et al. "A comprehensive and fair comparison of two neural operators (with practical extensions) based on fair data." Computer Methods in Applied Mechanics and Engineering 393 (2022): 114778.

如果直接看FNO那篇论文，大部分一开始的感觉都是不知所云，我也是这样的。这里我推荐可以先看一下论文一作Zongyi Li博士的之前两篇文章，可以帮助更好地理解FNO这篇论文：

Li, Zongyi, et al. "Neural operator: Graph kernel network for partial differential equations." ICLR 2020 Workshop on Integration of Deep Neural Models and Differential Equations, 2020.

当然了，读者也可以忽略上面的简介，下面我尽量把FNO介绍地比较清楚。
图核函数网络
这里就直接叙述图核函数网络的想法，下面给出一个一般形式的偏微分方程的系统
$$ \begin{aligned} \left(\mathcal{L}_{a} u\right)(x) &=f(x), & & x \in D \\ u(x) &=0, & & x \in \partial D \end{aligned} $$
其中$ u(x)=u(x,t) $，作者在这里是忽略了时间这个维度$t$，此外还默认$ u(x) $是一个标量，这里的参数$a$可以是系统的不同参数或者控制输入，这里的$f(x)$是一个固定的函数，在训练和使用的时候都是不变（并不是控制输入，这里要理解）。
随后，作者就引入了Green函数这个概念，$G: D \times D \rightarrow \mathbb{R}$是下面这个方程的唯一解
$$ \mathcal{L}_{a} G(x, \cdot)=\delta_{x} $$
其中$\delta_{x}$就是复变中的狄利克雷函数，是一个定义在实数范围上、值域不连续的函数。狄利克雷函数的图像以Y轴为对称轴，是一个偶函数，它处处不连续，处处极限不存在，不可黎曼积分。
这个Green函数突然跳出来是很诡异的，但是其拥有很多良好的性质，可以表示偏微分方程的解
$$ u(x)=\int_{D} G_{a}(x, y) f(y) d y $$
上面的式子表示的意思，只要能够找到这样一个Green函数，那么在整个控制域内做积分就能得到偏微分方程的解$u(x)$，这显然是不现实的，Green函数只在少数的情况下是解析的，这也就意味着解析的精确解是无法得到，但是可以利用神经网络的强大拟合能力对Green函数进行逼近，这也就是FNO方法的主要思想。
下面就是用核函数对Green函数进行逼近：
$$ v_{t+1}(x)=\sigma\left(W v_{t}(x)+\int_{D} \kappa_{\phi}(x, y, a(x), a(y)) v_{t}(y) \nu_{x}(d y)\right)\tag{1} $$
其中$\kappa_{\phi}(x, y, a(x), a(y))$就是核函数，$\sigma$是激活函数，$\nu_{x}(d y)$是测度（这里不用管），但是还是有问题，这个公式是要在整个控制域$ D$上进行计算，其计算量是非常大，相当于是一个全连接的图网络，基本是偏微分方程的维度上来之后，这就是不可行的，这里$v(x) $是对$u(x) $的一个可逆变换，得到一个更高维的向量，具有更多的特征。
为了提高问题的一般性，作者随后就提出自己的算法用节点的邻域$B(x,r)$来代替$ D$，下面是对上面方法的一个近修正
$$ \begin{aligned} v_0(x)=&P\left( x,a(x),a_{\epsilon}(x),\nabla a_{\epsilon}(x) \right) +p\\ v_{t+1}(x)=&\sigma \left( Wv_t(x)+\int_{B(x,r)}{\kappa _{\phi}}(x,y,a(x),a(y))v_t(y)\mathrm{d}y \right)\\ u(x)=&Qv_T(x)+q\\ \end{aligned} $$
其中$ a_{\epsilon}(x)$是对$ a(x)$的高斯光滑版本，相当于提升对于不同参数$ a(x)$的泛化性能，P是将低维投影到高维的矩阵，Q则是将高维向量投影到低维的矩阵，都是投影算子，为了增加神经网络的特征维度。
下面就是用神经网络对核函数$ \kappa _{\phi}(x,y,a(x),a(y)) $进行毕竟，此外，还要注意到这是在邻域$B(x,r)$上的，我们很自然地就想到是消息传递图神经网络，就是下面的形式
$$ v_{t+1}(x)=\sigma\left(W v_{t}(x)+\frac{1}{|N(x)|} \sum_{y \in N(x)} \kappa_{\phi}(e(x, y)) v_{t}(y)\right) $$
需要指出的是，这里的边特征定义为$ e(x, y)=(x, y, a(x), a(y)) $，剩下的工作就是搭建合适的神经网络对核函数的$\kappa _{\phi}$进行逼近，这里的具体实现方式可以参考图网络里面的一些方法，也有一些创新点可以做。
如果本文中是考虑在整个控制域$ D$上构建全连接神经网络，那么复杂度就是$ \mathcal{O}\left(K^{2}\right)$，作者这里提供了一个思路，就是采集$ l$个子图，每个子图均匀随机采样$ m \ll K$个节点，那么复杂度就是$ \mathcal{O}\left(lm^{2}\right)$，这里的复杂度就能有所下降，随后作者还给出了一个降低复杂度的准确度误差的上界，这就是FNO的没有引入傅里叶算子的版本，后面的FNO就是为了降低对核函数$\kappa _{\phi}$的逼近成本。
降低$\kappa _{\phi}$的逼近成本下面的论文给出了一个方法：

Li, Zongyi, et al. "Multipole graph neural operator for parametric partial differential equations." Advances in Neural Information Processing Systems 33 (2020): 6755-6766.

FNO的庐山真面目
通过上面的介绍Zongyi Li博士的两篇论文，FNO可以自然地被导出。
如果我们去掉对函数$\kappa _{\phi}$对 $a $的依赖并强加$\kappa_{\phi}(x, y)=\kappa_{\phi}(x-y) $，可以得到(1)是一个卷积算子。
对于卷积算子，应用傅里叶变换可以得到如下的结果：
$$ \left(\mathcal{K}(a ; \phi) v_{t}\right)(x)=\mathcal{F}^{-1}\left(\mathcal{F}\left(\kappa_{\phi}\right) \cdot \mathcal{F}\left(v_{t}\right)\right)(x) $$
解除上述公式对$ a$的依赖，我们可以得到
$$ \left(\mathcal{K}(\phi) v_{t}\right)(x)=\mathcal{F}^{-1}\left(R_{\phi} \cdot\left(\mathcal{F} v_{t}\right)\right)(x) \quad \forall x \in D $$
其中$ k\in D, \left( \mathcal{F} v_t \right) (k)\in \mathbb{C} ^{d_v},R_{\phi}(k)\in \mathbb{C} ^{d_v \times d_v}$，都是一个函数空间，因为图网络其实是对连续空间的一个离散化，这里我们也就考虑对这些参数进行离散化，并利用快速FFT进行变化。此外，由于傅里叶变换的频率是$ -\infty \rightarrow +\infty $，那么这里是对频率进行了一个限制，也就是说把傅里叶变换截断到上限频率
$ k_{\max}=\left| Z_{k_{\max}} \right|$，$ R_{\phi} $是一个$ \left( k_{\max}\times d_v\times d_v \right) $维的三阶张量。
下面给出了算法的具体实现流程图：

文章图片

作者在实验部分进行了比较，与U-Net、TF-Net和ResNet等经典方法相比具有明显的优势

文章图片

这里FNO-2D与FNP-3D的主要区别就是，FNO-2D利用了RNN结构，可以将解以固定间隔长度$\varDelta t $ 的增量传播到任意时间$T$，是一种自回归迭代的方法；FNP-3D直接将时间维度增广到控制维度上去，以Conv3D结构直接训练，可以直接得到任意离散时间点$t$上进行求解，不需要递推式的解法去求解，和DeepONet一样，是一种直接映射。FNO-3D方法更具表现力且更易于训练，但是实验里看出的是参数量更多且表现提升不多。
结论
【FNO（傅里叶算子神经网络在PDEs求解上的应用）】傅里叶神经算子在噪声数据上的表现是超过DeepONet，我猜是因为傅里叶变换时把高频的噪声信号给滤去了，这样傅里叶神经算子就对噪声不敏感了。FNO算法也启发了后来的很多研究，大家有兴趣地可以深入阅读以下的论文，也是利用消息传递图神经网络，但是是利用的自回归方法，算是对传统方法的一个增强：

Johannes Brandstetter and Daniel E. Worrall and Max Welling. "Message passing neural PDE solvers." International Conference on Learning Representations (2022).