隨著大規(guī)模深度神經(jīng)網(wǎng)絡(luò)（NN）和其他人工智能（AI）應(yīng)用的最新發(fā)展，人們越來越擔(dān)心訓(xùn)練和操作它們所需的能源消耗。

物理神經(jīng)網(wǎng)絡(luò)可以成為這個問題的解決方案，但傳統(tǒng)算法的直接硬件實現(xiàn)面臨著多重困難。使用傳統(tǒng)反向傳播算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)會面臨一些挑戰(zhàn)，例如缺乏可擴展性、訓(xùn)練過程中操作的復(fù)雜性以及對數(shù)字訓(xùn)練模型的依賴。

洛桑聯(lián)邦理工學(xué)院（école Polytechnique Fédérale de Lausanne，EPFL）和微軟研究團隊（Microsoft Research）等機構(gòu)組成的合作團隊提出了一種通過物理局部學(xué)習(xí)（PhyLL）算法增強的簡單深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，該架構(gòu)可以對深度物理神經(jīng)網(wǎng)絡(luò)進行監(jiān)督和無監(jiān)督訓(xùn)練，而無需詳細(xì)了解非線性物理層的屬性。

利用這種方法，研究人員在元音和圖像分類實驗中訓(xùn)練了多種基于波的物理神經(jīng)網(wǎng)絡(luò)，并展示了該方法的普遍性。該團隊的方法比其他硬件感知訓(xùn)練方案具有優(yōu)勢，可以提高訓(xùn)練速度、增強穩(wěn)健性；同時，通過消除系統(tǒng)建模的需要來降低功耗，從而減少數(shù)字計算需求。

該研究以「Backpropagation-free training of deep physical neural networks」為題發(fā)，于 2023 年 11 月 23 日發(fā)布在《Science》。

深度學(xué)習(xí)已成為一項取得了巨大成功的突破性技術(shù)，主要在傳統(tǒng)的馮·諾依曼計算硬件上運行。該技術(shù)目前面臨高能耗（例如 GPT-3 的 1.3 ?GWh 用電量）和低計算速度的問題。

由于這些挑戰(zhàn)，科學(xué)家正在探索人工神經(jīng)網(wǎng)絡(luò)（ANN）的替代物理平臺，包括光學(xué)、自旋電子學(xué)、納米電子設(shè)備、光子硬件和聲學(xué)系統(tǒng)。

目前，局部學(xué)習(xí)已被廣泛研究用于訓(xùn)練數(shù)字神經(jīng)網(wǎng)絡(luò)，從早期的 Hopfield 模型中的 Hebbian 對比學(xué)習(xí)工作到最近的生物學(xué)合理框架、塊式 BP 和對比表示學(xué)習(xí)。

受這一概念的啟發(fā)，為了解決基于 BP 的 PNN 訓(xùn)練的局限性，EPFL 等機構(gòu)的研究人員提出了一種簡單且物理兼容的 PNN 架構(gòu)，并通過物理局部學(xué)習(xí) (PhyLL) 算法進行了增強。

該方法能夠在本地對任意 PNN 進行監(jiān)督和無監(jiān)督對比學(xué)習(xí)訓(xùn)練，而無需了解非線性物理層并訓(xùn)練數(shù)字孿生模型。在這種無 BP 方法中，通常由數(shù)字計算機執(zhí)行的標(biāo)準(zhǔn)后向傳遞被替換為通過物理系統(tǒng)的附加單個前向傳遞。

這種替代可以消除由于其他硬件感知框架中存在的數(shù)字孿生建模階段而產(chǎn)生的額外開銷，從而提高基于波的 PNN 訓(xùn)練階段的訓(xùn)練速度、功耗和內(nèi)存使用率。

圖：Acoustic-PNN。（來源：論文）

該方法即使在暴露于不可預(yù)測的外部擾動的系統(tǒng)中，依然能保持穩(wěn)健性和適應(yīng)性。

圖：Deep PNN 對不可預(yù)測的外部擾動的穩(wěn)健性。（來源：論文）

為了展示該方法的普遍性，研究人員使用三個基于波的系統(tǒng)進行了實驗元音和圖像分類，這三個系統(tǒng)在潛在的波現(xiàn)象和所涉及的非線性類型方面有所不同。

圖：Microwave-PNN。（來源：論文）

由于人工神經(jīng)網(wǎng)絡(luò)規(guī)模空前增長，例如預(yù)計將不斷增加的大型語言模型（LLM），這些網(wǎng)絡(luò)的訓(xùn)練和推理階段的成本呈指數(shù)級增長。

PNN 等專用硬件有可能大幅降低這些成本。之前 Anderson 團隊曾經(jīng)預(yù)測，與未來大型 Transformer 模型的數(shù)字電子處理器相比，推理時間能效優(yōu)勢約為 8000 倍。EPFL 團隊提出的訓(xùn)練方法可以作為訓(xùn)練這些光學(xué) LLMs 的可行候選方法，有可能提供顯著的能源效率和速度優(yōu)勢。

圖：Optics-PNN。（來源：論文）

利用光學(xué)實現(xiàn)大規(guī)模 LLM 仍然面臨一些挑戰(zhàn)，例如當(dāng)前的 SLM 容量僅限于幾百萬個參數(shù)，遠(yuǎn)低于所需的數(shù)十億個參數(shù)。然而，實現(xiàn)十億參數(shù)光學(xué)架構(gòu)和節(jié)能 PNN 并不存在根本障礙。

《Science》雜志副主編 Yury Suleymanov 評價道：「該研究是優(yōu)化神經(jīng)網(wǎng)絡(luò)中的能源密集型訓(xùn)練步驟的重要一步，從而為現(xiàn)代人工智能系統(tǒng)提供更有效的解決方案。」

論文鏈接：https://www.science.org/doi/10.1126/science.adi8474