編輯 |?紫羅

深度機器學習在 AI 的各個領域取得了顯著的成功，但同時實現高可解釋性和高效率仍然是一個嚴峻的挑戰。

張量網絡（Tensor Network，TN）是一種源自量子力學的成熟數學工具，在開發高效的「白盒」機器學習方案方面顯示出了其獨特的優勢。

近日，首都師范大學的冉仕舉和中國科學院大學的蘇剛從量子力學中汲取靈感，綜述了一種基于 TN 的創新方法，為協調深度機器學習的可解釋性和效率這一長期挑戰提供了一個有前景的解決方案。

一方面，TN ML 的可解釋性可以通過基于量子信息和多體物理的堅實理論基礎來實現。另一方面，強大的 TN 表示和量子多體物理中開發的先進計算技術可以獲得高效率。隨著量子計算機的快速發展，TN 有望在不久的將來朝著「量子 AI」的方向產生可在量子硬件上運行的新穎方案。

該綜述以《Tensor Networks for Interpretable and Efficient Quantum-Inspired Machine Learning》為題，于 2023 年 11 月 17 日發表在《Intelligent Computing》上。

深度機器學習（ML）模型，尤其是神經網絡模型，通常被認為是「黑匣子」，因為它們的決策過程復雜且難以解釋。神經網絡是當今最強大的 ML 模型。展示其強大功能的一個典型例子是 GPT。然而，由于缺乏可解釋性，即使是 GPT 也面臨著穩健性和隱私保護等嚴重問題。

這些模型缺乏可解釋性可能導致人們對其預測和決策缺乏信任，從而限制了它們在重要領域的應用。

基于量子信息和多體物理的張量網絡為 ML 提供了「白盒」方法。研究人員表示：「張量網絡在將量子概念、理論和方法與 ML 聯系起來以及有效實現基于張量網絡的 ML 方面發揮著至關重要的作用。」

TN：來自量子物理學的強大「白盒」數學工具

隨著經典計算和量子計算的快速發展，TN 為克服可解釋性和效率之間的困境提供了新的思路。TN 被定義為多個張量的收縮。它的網絡結構決定了張量收縮的方式。

圖 1 顯示了 3 種類型的 TN 的圖解表示，即矩陣乘積態（MPS）表示、樹 TN，以及投影糾纏對態（PEPS）表示。

TN 作為大規模量子系統狀態的有效表示，在量子力學領域取得了顯著的成功。在 TN 理論中，滿足糾纏熵面積定律的狀態可以通過具有有限鍵維數的 TN 表示來有效地近似。

基于 MPS 的算法，包括密度矩陣重整化組和時間演化塊抽取 ，在模擬糾纏熵時表現出顯著的效率。此外，MPS 還可以表示許多廣泛應用于量子信息處理和計算中的人工構造的狀態，例如 Greenberger–Horne–Zeilinger 狀態和 W狀態。

PEPS 表示被提出遵守二維及更高維度的面積定律，并在高維量子系統的研究中取得了巨大的成功。總之，糾纏熵的面積定律為模擬量子系統的 TN 的表示或計算能力提供了內在的解釋。此類解釋也適用于 TN ML。此外，代表量子態的 TN 可以通過玻恩的量子概率解釋（也稱為玻恩規則）來解釋。因此，TN 被視為一種「白盒」數值工具（Born 機器），類似于 ML 的（經典）概率模型。

受量子啟發 ML 的 TN

憑借完善的理論和有效的方法，TN 為解決機器學習中可解釋性和效率之間的困境提供了一條新的途徑。為此，有兩條相互糾纏的研究路線正在爭論中：

1. 量子理論如何作為 TN ML 可解釋性的數學基礎？

2. 量子力學 TN 方法和量子計算技術如何產生高效的T N ML 方案？

下表中總結了下面提到的 TN ML 的主要方法以及它們與效率和可解釋性的關系。

用于增強經典 ML 的 TN

作為一種基本的數學工具，神經網絡在 ML 中的應用并不局限于那些遵循量子概率解釋的應用。鑒于 TN 可用于有效地表示和模擬經典隨機系統的配分函數，如 Ising 和 Potts 模型，TN 與玻爾茲曼機之間的關系已被廣泛研究。

TN 還被用來增強 NN 并開發新穎的 ML 模型，忽略任何概率解釋。

基于同樣的基礎，模型壓縮方法被提出來將 NN 的變分參數分解為 TN 或直接將變分參數表示為 TN。后者可能不需要顯式分解過程，其中神經網絡的參數不會恢復為張量，而是直接恢復為 TT 形式 、矩陣乘積算子或深度 TN。非線性激活函數已添加到 TN 中，以提高其 ML 性能，將 TN 從多線性模型推廣到非線性模型。

結論

解決 AI（尤其是深度 ML）效率和可解釋性之間困境的方法長期以來一直受到人們的關注。在此，回顧了 TN 在可解釋且高效的量子啟發 ML 方面取得的鼓舞人心的進展。

圖 3 中的「N ML butterfly」列出了 TN 在 ML 方面的優勢。對于量子啟發的 ML，TN 的優勢可以從兩個關鍵方面來總結：用于可解釋性的量子理論和用于提高效率的量子方法。一方面，TN 使我們能夠應用統計學和量子理論（例如糾纏理論）來構建可解釋性的概率框架，這可能超出經典信息或統計理論的描述。另一方面，強大的量子力學 TN 算法和大幅增強的量子計算技術將使量子啟發的 TN ML 方法在經典和量子計算平臺上都具有高效率。

特別是，隨著最近在 GPT 方面取得的顯著進展，模型復雜性和計算能力出現了前所未有的激增，為 TN ML 帶來了新的機遇和挑戰。當面對 GPT 的新興 AI 時，可解釋性將變得越來越有價值，不僅可以提高研究效率，而且可以更好地使用和更安全的控制。

在當前的 NISQ 時代和即將到來的真正的量子計算時代，TN 正迅速成長為從理論、模型、算法、軟件、硬件和應用等角度探索量子 AI 的重要數學工具。