1. DeepMind/威尼斯大學Nature: 填補空白,使用深度神經網絡破譯古代文字!古代史研究依賴于諸如金石學之類的學科,即研究銘文并將其作為古代文明思想、語言、社會和歷史的證據。然而,幾個世紀以來,許多銘文已經被損壞到難以辨認的程度,或是被運到遠離其原始位置的地方,而且其書寫日期也充滿了不確定性。然而,用于修復和歸因銘文的傳統金石學方法涉及高度復雜、耗時且專業的工作流程。在此,英國DeepMind公司Yannis Assael、意大利威尼斯大學Thea Sommerschield等人通過使用最先進的機器學習方法克服了當前金石學研究的限制,受生物神經網絡的啟發,深度神經網絡可以在大量數據中發現和利用復雜的統計模式。作者展示了一種經過訓練的名為Ithaca(伊薩卡,古希臘神話英雄奧德修斯的故鄉)的深度神經網絡架構,可以同時執行文本恢復、地理/時間歸因的任務。該架構以公元前7世紀到公元5世紀期間的古希臘語言和整個古代地中海世界的銘文進行訓練,數據集來源于帕卡德人文學院(PHI),由178551 個銘文的轉錄文本組成。這種選擇主要有兩個原因:首先,希臘銘文記錄的內容和上下文的可變性,這使其成為語言處理的絕佳挑戰;其次,古希臘語的數字化語料庫是訓練機器學習模型的重要資源。圖1. Ithaca架構處理流程示例為了應對部分文字丟失的挑戰,作者將字符和單詞的共同表示作為Ithaca的輸入,用特殊符號“[unk]”表示損壞、丟失或未知的單詞。研究表明,該架構側重于協作、決策支持和可解釋性。雖然歷史學家、Ithaca在單獨修復受損文本時僅分別達到25%、62% 的準確率,但二者結合修復的準確率可提高至72%,證實了該研究工具的協同效應。此外,Ithaca實現了以71%的精確度將銘文定位到其原始地理位置,且將其年代追溯到距其真實年代范圍不到30年的時間,從而重新編輯了古典雅典的關鍵文本并為古代史上的專題辯論做出了貢獻。這項研究展示了Ithaca模型如何促進AI和歷史學家之間的合作,從而徹底影響人類歷史上最重要時期之一的研究和撰寫。圖2. Ithaca架構的輸出結果示例Restoring and attributing ancient texts using deep neural networks, Nature 2022. DOI: 10.1038/s41586-022-04448-z2. 橡樹嶺國家實驗室AM: 假設學習用于探索自動化實驗中的物理發現目前,機器學習正迅速成為通過自動化、高通量合成及散射和電子/探針顯微鏡的主動實驗進行物理發現的一個組成部分。反之,這迫切需要開發能夠以最少的步驟探索相關參數空間的主動學習方法。在此,美國橡樹嶺國家實驗室Maxim Ziatdinov, Sergei V. Kalinin等人通過將結構化高斯過程(sGP)與強化學習(RL)策略相結合,引入了一種基于假設和實驗空間共同引導的主動學習方法并將其命名為假設學習。在主動學習期間,系統行為的正確模型會降低所研究系統的整體貝葉斯不確定性。該方法由短的預熱階段和探索階段組成,并假設在參數空間的隨機/統一初始化坐標處存在多個測量值(“種子”測量值)。預熱階段的作用是為探索階段產生“動力”,因為主動學習設置的目標是用最少的步驟來發現整體數據分布。此外,還必須向算法提供一個概率模型列表。這些模型可以作為獨立的參數模型,也可以將其包裝到sGP中。在經典實驗設置下,一旦薄膜生長/材料被合成,該方法就會自動探索其特性并根據結果選擇新的探索點(不同的成分或生長條件)。圖1. 該方法用于Sm摻雜BiFeO3樣品的PFM結果這種方法非常類似于經典的人類驅動的物理發現,通過可調節參數的模型來實現幾個替代假設并在實驗中進行測試。接下來,作者通過使用壓電響應力顯微鏡(PFM)測量探索Sm摻雜BiFeO3中濃度引起的相變展示了這種方法。總之,該研究所提出的方法為掃描探針或其他成像方法與材料科學之間的協同研究提供了強有力的證明。雖然傳統的組合研究受限于對庫中材料結構和功能進行量化的需要,但這項聚焦X射線方法和掃描探針顯微鏡的最新進展提供了一種解決方案。同時,本文提出的假設驅動的高斯過程框架進一步允許物理模型之間的合并和選擇。雖然該方法在此研究中僅針對1D情況的應用,但可直接將其擴展到更高維的參數空間和更復雜的物理問題。圖2. “自動化科學家”的概念Hypothesis learning in automated experiment: application to combinatorial materials libraries, Advanced Materials 2022. DOI: 10.1002/adma.2022013453. JACS: 人間清醒!基于文獻數據的機器學習模型真的靠譜嗎?機器學習(ML)正在對許多研究領域產生影響,在學習基于明確定義的規則或大型高質量數據集的領域中取得了顯著的成功。相比之下,當數據集質量較低且包含模型未正確捕獲的特征時,預測效果可能會比較一般。一些報道嘗試使用ML來預測特定反應的反應條件,似乎只要提供足夠數量的文獻來構建模型就可以獲得準確預測。然而,事實真是如此嗎?在此,美國伊利諾伊大學厄巴納-香檳分校Martin D. Burke及韓國基礎科學研究所(IBS)Bartosz A. Grzybowski教授等人通過案例研究證明,這可能是一種過于樂觀的解釋,即使有大量精心整理的文獻數據,ML方法可能也不會比文獻中報道的普遍反應條件的估計效果好很多。換句話說,這些ML模型并沒有提供更多的見解,只是提出了最普遍的反應條件。而這些反應條件本可以通過對文獻案例的簡單統計獲得,這意味著ML沒有實現“機器智能”。具體而言,作者基于精心挑選的>10000篇文獻數據庫并以雜環Suzuki偶聯反應作為案例研究,考慮預測最適合于雜芳基-雜芳基或芳香基-雜芳基Suzuki偶聯反應給定底物的反應條件。圖1. 預測問題的公式化和基于文獻的反應條件統計對于具有完整條件信息的>10000個反應示例,該反應似乎提供了足以成功實現 ML預測的反應統計數據。在對鈀的溶劑、堿、溫度和來源進行分類后,作者應用各種神經網絡方法(前饋和圖卷積)、詞嵌入和正樣本-無標簽(PU)學習方法來開發預測模型。結果表明,即使搜索空間僅限于溶劑和堿,ML模型也不能提供對最佳反應條件的任何有意義的預測。在所有情況下,ML的表現并不比文獻提出的普遍性反應條件好多少。這些結果表明,合成化學中的數據受到了非科學因素的嚴重影響,例如某些化學家對某些協議的主觀偏好,甚至是實驗室中當前化學品的可用性。因此,作者認為,化學中應用ML研究的前進道路是使用自動化協議生成標準化的數據集,特別是在不同條件下進行的多次重復反應,從而客觀比較和學習好與壞的條件。圖2. 回歸模型的學習結果Machine Learning May Sometimes Simply Capture Literature Popularity Trends: A Case Study of Heterocyclic Suzuki–Miyaura Coupling, Journal of the American Chemical Society 2022. DOI: 10.1021/jacs.1c120054. 鞏金龍/趙志堅Angew: 機器學習+DFT探究銅鋅催化劑的CO2ER活性位點在銅基催化劑上將CO2電化學還原(CO2ER)為多碳化學原料具有相當大的吸引力,但目前仍存在活性位點不明確的問題,這阻礙了催化劑的合理設計和大規模工業化。在此,天津大學鞏金龍教授、趙志堅教授等人基于神經網絡的全局優化、DFT計算相結合的方法進行了一種大規模模擬以獲得真實的銅鋅納米粒子(NPs)模型,并研究了CO2ER中CuZn催化劑上C2+產物活性位點的原子級結構。為了深入了解CuZn NPs的真實表面結構,尋找熱力學最穩定的結構至關重要。作者基于具有神經網絡勢隨機表面行走算法(NNSSW)的全局優化來搜索CuZn NPs的全局最小值(GM),研究了具有309個金屬原子的較大NPs。通過基于神經網絡勢能的高通量測試,作者分析了2000多個表面位點并最終確定了兩種活性位點,即平衡的Cu-Zn位點和 Zn原子主導的Cu-Zn位點,二者均有助于C-C耦合從而提高CO2ER的選擇性。圖1. CuZn NPs合成的理論模擬通過Bader電荷和ICOHP分析表明,CuZn協同效應位點對中間體*CO的吸附有很大影響,并且在CO2ER生成C2+產物的過程中起著至關重要的作用。CuZn原子排列會影響關鍵中間體*CO與CuZn表面的相互作用,從而影響*CO與活性位點之間的電子轉移。實驗結果也再次證明,由適度的Zn摻雜驅動的具有最佳*CO吸附的 NP 可以促進CO2ER生成C2+產物。因此,這項工作為結合機器學習方法合理設計高效銅基催化劑提供了指導,為構建更現實的大尺度粒子模型和建立更準確的多相催化原子級結構-性能關系提供了通用的研究框架。圖2. 活性位點的實驗驗證Nature of the Active Sites of Copper Zinc Catalysts for Carbon Dioxide Electroreduction, Angewandte Chemie International Edition 2022. DOI: 10.1002/anie.2022019135. 圣光機大學Small Methods: 遷移學習+輪廓檢測進行手繪圖的逆向材料搜索各種形態和成分的納/微米材料在許多不同領域都有廣泛的用途。然而,尋找具有所需結構、形狀和尺寸的定制納米材料仍然是一個挑戰,并且通常通過在文獻中進行人工篩選來實現。在此,俄羅斯圣光機大學Vladimir Vinogradov等人首次開發了掃描/透射電子顯微鏡逆向圖像搜索和基于手繪圖的遷移學習搜索,即通過將在超過1400萬張圖像上預訓練的VGG16卷積神經網絡(CNN)重新用于圖像特征提取(FE)和圖像相似性(IS)確定。其中,VGG16 CNN由卷積層、池化層和全連接密集層組成,所有這些層都代表了輸入圖像像素強度的數學變換。卷積層表示將濾波器應用于像素組,從而考慮相鄰像素之間的相互關系。池化層用于壓縮圖像,從而產生更緊湊的圖像表示。密集層通常用于進一步的分類任務,以向量的形式產生一個或多個單獨的輸出,其分類精度與從圖像中提取高級特征的有效性高度相關。結果表明,這種方法允許搜索具有最接近的形狀豐度、尺寸分布及材料表面形態的材料,其中所有搜索結果在所有這些參數之間的折衷下進行排序。圖1. VGG16 CNN的逐層架構及逆向SEM圖像搜索此外,該方法在超過200種通過隨機高通量篩選手動合成的>20種不同形狀、尺寸和表面形態的CaCO3基納米材料及從研究文章中提取的超過6種形狀的Au納米粒子的案例使用中得到證明,從而驗證了該方法的多功能性。更重要的是,Canny輪廓檢測能夠實現基于手繪圖的查詢,該查詢引入了具有所需形狀、尺寸和表面形態的定制逆向材料搜索。這些發現表明,從顯微鏡圖像中提取的特征可作為納米材料的形狀、大小和形態的通用描述符。這項研究所開發的方法不僅可用于高級納米材料搜索、合成過程驗證和描述符生成,還可以進一步配備機器學習解決方案,從而在考慮形態特性的同時提供數據驅動的新型納米材料發現。圖2. 基于手繪的逆向圖像搜索展示Inverse Material Search and Synthesis Verification by Hand Drawings via Transfer Learning and Contour Detection, Small Methods 2022. DOI: 10.1002/smtd.2021016196. Batteries & Supercaps: 貝葉斯優化篩選鋰離子電池的電解液添加劑最佳用量液體電解質的成分是影響鋰離子電池(LIBs)循環壽命的關鍵因素,電解液添加劑成分的選擇和量化是一個活躍的研究領域。考慮到添加劑組分及用量的龐大組合空間,貝葉斯優化可用于引導搜索最佳解決方案,同時可大大減少實驗工作量。在此,德國亞琛工業大學Dirk Uwe Sauer教授、Felix Hildenbrand等人通過使用貝葉斯優化算法來指導搜索,研究了用于提高NMC622-石墨電池循環壽命的氟代碳酸亞乙酯(FEC)和碳酸亞乙烯酯(VC)最佳添加劑組合。其中,作者將不同的測量值用作目標變量,如開路電壓梯度和庫侖效率。研究表明,使用高斯過程(GP)算法指導搜索有助于加快搜索速度且具有最佳性能,共計進行了四次迭代。其中,在三次迭代中可以確定2個最佳組合,并在第四次迭代中確認其性能。最終,1.85 wt% FEC+1.1 wt% VC 和1.0 wt% FEC+1.0 wt% VC被確定為性能最佳的添加劑組合,可實現1000次以上的循環并分別保持了992 mAh和1004 mAh的中值容量。圖1. 按迭代排序的每種電解液的研究參數此外,研究表明,VC有助于減少初始容量損失和過電位增加,而FEC則提高了長期穩定性。因此,VC的濃度應該受到限制,因為它對長期穩定性和放氣行為有負面影響。同時,增加FEC濃度一方面沒有缺點,但另一方面并沒有進一步提高性能,減少其使用量有助于降低成本。未來的工作可以使測試條件多樣化并執行特定于應用程序的測試,其結果可以在多目標優化中進行處理。總之,通過這種方式,可以實現添加劑的選擇及量化設計。另外,該研究所提出的方法還可以應用于優化其他影響電池循環壽命的設計參數。最后,將貝葉斯優化的參數選擇應用于工業電池生產線將具有重要意義。圖2. 所有研究的LIB的循環放電容量Selection of Electrolyte Additive Quantities for Lithium-Ion Batteries Using Bayesian Optimization, Batteries & Supercaps 2022. DOI: 10.1002/batt.202200038