時空動力學（Spatiotemporal dynamics）在自然界中無處不在。比如，反應擴散過程表現出有趣的現象，在化學、生物學、地質學、物理學和生態學等許多學科中都很常見。
對復雜的時空動力學系統進行建模，在很大程度上依賴于找到潛在的偏微分方程（PDE）。然而，由于先驗知識不足且缺乏用于描述系統變量非線性過程的explicit PDE 公式，在許多情況下預測這些系統的演化仍然是一項具有挑戰性的任務。
在此，中國科學院大學、中國人民大學、東北大學（美國）和 MIT 的研究團隊，提出了一種新的深度學習框架——PeRCNN，該框架在循環卷積神經網絡中強制編碼給定的物理結構，來促進稀疏數據體系中時空動力學的學習。通過大量的數值實驗展示了所提出的方法如何應用于有關反應擴散過程和其他 PDE 系統的各種問題，包括正向和逆向分析、數據驅動建模和 PDE 的發現。研究發現該物理編碼機器學習方法表現出高精度、穩健性、可解釋性和泛化性。
該研究以「Encoding physics to learn reaction–diffusion processes」為題，于 2023 年 7 月 17 日發布在《Nature Machine Intelligence》上。
論文鏈接：https://www.nature.com/articles/s42256-023-00685-7
研究背景
通過擴散和反應可以揭示圖靈圖案的自主形成機制。像許多其他系統一樣，理解其復雜的時空動力學（受固有 PDE 控制）是一項中心任務。然而，許多未充分探索的系統的閉式控制方程中的原理定律仍然不確定或部分未知。機器學習以數據驅動的方式為科學發現上述系統開辟了新的途徑。
最近，機器學習方法推動了數據驅動的科學計算的復興。這很大程度上歸功于深度學習模型能夠從豐富的標記數據中自動學習變量之間的非線性映射。然而，植根于深度學習的純數據驅動方法通常從大數據中學習表示并高度依賴大數據，這在大多數科學問題中往往是不夠的。所得模型通常無法滿足物理約束，其泛化性也無法得到保證。為了解決這個問題，基于物理的神經網絡（PINN）利用人們對基礎物理學的先驗知識來實現小數據狀態下的學習，成為了一種主要研究范式。
PINN 在廣泛的科學應用中顯示出有效性。特別是，該范式已被證明可以有效地模擬各種物理系統。然而，占主導地位的物理信息學習模型 PINN 通常代表一種連續學習范式，因為它采用全連接神經網絡 (FCNN) 來連續逼近物理系統的解決方案。由此產生的系統預測的連續表示帶來了一些限制。
與連續學習模型相比，離散學習方法具有將初始條件（IC）和邊界條件（BC）以及不完整的 PDE 結構硬編碼到學習模型中的明顯優勢。即使沒有任何標記數據，這種做法也可以避免優化的不適定性。
有效、可解釋和泛化的離散學習范式
因此，研究人員將建立一種有效、可解釋和泛化的離散學習范式，可用于預測非線性物理系統，這仍然是科學機器學習中的一個重大挑戰。
為此，研究人員提出了物理編碼模型在網絡架構中對先驗物理知識進行編碼，這與通過物理信息學習中常見的懲罰損失函數來「教」物理模型形成鮮明對比。具體來說，該模型有以下幾個主要特點：
（1）與利用 FCNN 作為解的連續逼近器的 PINN 主流方法相比，物理編碼模型是離散的（即，解是基于空間網格的并在離散時間步上定義），并將給定的物理結構硬編碼到網絡架構中。
（2）該模型采用獨特的卷積網絡（即 Π-block）來捕獲系統的空間模式，同時由循環單元執行時間推進。這種獨特的網絡已經被證明（通過數學證明和數值實驗）可以提高其非線性時空動力學模型的表達能力。
（3）由于時間離散化，該網絡能夠結合眾所周知的數值時間積分方法（例如，前向歐拉法、龍格-庫塔法）將不完全偏微分方程編碼到網絡架構中。
在該研究中，研究人員通過將所提出的網絡架構應用于時空動力學科學建模（例如反應擴散過程）中的各種任務來展示其功能。
所提出的網絡，即 PerRCNN。該網絡的架構由兩個主要組件組成：一個完全卷積網絡作為 ISG 和一個用于循環計算的稱為 Π-block（product）的新型卷積塊。
圖 1：PerRCNN 的架構示意圖。（來源：論文）
由于學習模型的離散化方案，可以將系統的先驗物理知識編碼到網絡架構中，這有助于提出適定的優化問題。給定 PDE 中的一些現有項，可以通過創建一個快捷連接（即基于物理的 FD 卷積連接）將這些項編碼到網絡中。這個基于物理的卷積層中的卷積核將使用相應的 FD 模板進行固定，以解釋已知項。
這種編碼機制的主要優點是能夠在學習中利用不完整的偏微分方程。在數值示例中，證明了這種 highway 連接可以加快訓練速度并顯著提高模型推理精度。簡而言之，基于物理的卷積連接是為了解釋已知的物理而構建的，而Π-block 則是為了學習互補的未知動力學而設計的。
除了不完全 PDE 之外，邊界條件也可以被編碼到學習模型中。受 FD 方法思想的啟發，研究人員將基于物理的填充（padding）應用于每個時間步的模型預測。
研究人員提出一種新穎的深度學習架構 PeRCNN，用于基于稀疏和噪聲數據的非線性時空動力系統的建模和發現。
盡管 PeRCNN 在復雜系統的數據驅動建模方面顯示出良好的前景，但由于離散系統的高維性，它受到計算瓶頸的限制，特別是當涉及到長期演化的大型 3D 空間域中的系統時。然而，這個問題將通過時間批處理和多圖形處理單元訓練來解決。
此外，當前模型植根于標準卷積運算，這限制了其對任意計算幾何形狀的不規則網格的適用性。這個問題可以通過在網絡架構中引入圖卷積來解決。
最后，由于 PerRCNN 網絡是基于底層控制偏微分方程具有多項式形式的假設而設計的，因此它在建模獨特的時空動力學方面可能能力較差或過于冗余，其控制偏微分方程是簡約的，但涉及其他高級符號運算符，例如除法、sin、cos、exp、tan、sinh、log 等等。盡管 PeRCNN 在數據驅動的非多項式項 PDE 系統建模中取得了成功，但如何設計一個網絡，正確地將有限數量的數學算子作為符號激活函數，以提高表示能力仍然是一個懸而未決的問題。在未來的研究中，研究人員將系統地解決這些問題。
原創文章，作者：計算搬磚工程師，如若轉載，請注明來源華算科技，注明出處：http://www.zzhhcy.com/index.php/2024/02/06/87f7d69f49/
