改進新興技術的催化材料是一項艱巨的任務。在多相催化劑中，雙金屬合金由于獨特電子性質得到了廣泛關注。其中，密度泛函理論（DFT）計算成為在原子水平上分析催化活性和篩選新型催化材料的重要手段。然而，DFT計算成本限制了對廣闊化合物空間的探索，并阻礙了催化材料的高通量計算篩選。巴塞羅那自治大學的 A. Comas-Vives等人建立了與吸附位點相關的局部描述符的機器學習（ML）模型，用于預測吸附能，加快了對吸附位點周圍局部活性位點的電子結構識別，加快了吸附能的預測，進一步實現對催化劑的高效篩選。

1.?本文提出了解決基于機器學習模型預測吸附能的兩個局限性方法，并成功構建與吸附位點相關的局部環境描述符的機器學習模型，用于預測吸附能。

2.?將機器學習模型與聚類分析相結合，實現對數據庫中異常數據的檢測，進一步提高了模型的準確性。

3.?CatBoost模型在訓練集和測試集上的MAE分別為0.019 eV和0.174 eV，取得最優異的性能，并通過該模型準確預測了含有C、N、S、O和H原子幾種物質的吸附能。

計算與機器學習方法

本文采用VASP軟件包進行第一性原理DFT計算，使用BEEFvdW函數分別對數據庫中的幾何結構進行自旋極化單點能計算，波函數的截斷能設置為35Ry，電荷密度的階段能設置為350Ry，同時作者對布里淵區進行4×4×1的網格采樣。

本文使用梯度增強架構的隨機森林回歸（RFR）、極致梯度提升回歸（XGBoost）、梯度提升算法回歸（CatBoost）和輕量級梯度提升機算法（LightGBM）作為機器學習模型。同時，作者采用了多元線性回歸（MLR）和核嶺回歸（KRR）的作為線性回歸機器學習模型，選擇了均方誤差（MSE）和平均絕對誤差（MAE）指標評估模型的性能，并且通過SHAP評價輸入特征和預測結果之間最相關的相關性。

本文選用34個描述符進行吸附能的機器學習建模，描述符分別為結構、電子和原子/元素性質。其中，表面相關描述符的構建流程如圖1a所示，主要是通過表面頂部組裝的球體獲得，該球體的中心位于頂層上方1.5?（Z軸坐標），XY軸坐標由表面上的吸附質確定，如圖1b和c所示。隨后，本文進一步研究了描述符與吸附能之間的相關性，圖2顯示了每個描述符之間的Pearson系數，并發現每個描述符和吸附能之間的相關性很弱。

圖1 整體工作流程圖及相關位點信息

圖2 特征與吸附能之間與Pearson系數的線性相關性

本文構建了不同的機器學習模型，表1和表2中總結了不同ML的模型的結果，發現MLR模型顯示出較差的性能，與Pearson系數結果一致。進一步發現KRR與RFR模型的平均誤差和準確度（R²）相似，但XGBoost模型的準R²略高，其次，CatBoost模型顯示出較高的偏差。相比之下，XGBoost在訓練集中的偏差優于其他算法。為了得到最穩定的模型，進一步比較了訓練集和測試集的回歸指標，發現CatBoost模型表現出優異的性能，其次是XGBoost模型。為了驗證CatBoost模型中的偏差合理化，本文比較了吸附能的預測值和實際值。圖3顯示了CatBoost和XGBoost模型的DFT計算吸附能和ML預測吸附能之間的關系。

通過對比發現，CatBoost模型似乎比XGBoost模型預測的偏差更高。然而，CatBoost模型分散數據點較少，也表明了CatBoost模型的MAE比XGBoost模型的MAE表現更好，說明CatBoost模型的性能更優異。隨后本文使用Shapley加性規劃（SHAP）方法評估了單個描述符對吸附能的影響，如圖4，通過對比CatBoost和XGBoost模型的SHAP值，發現影響性能最大的描述符大多數是相同的。其中，影響最大的描述符是d軌道電荷，這與雙金屬催化劑中d-band對鍵合相互作用的影響相一致。但發現CatBoost模型中的每個特征對吸附能影響程度都明顯減少，進一步說明在CatBoost模型中更多的特征與吸附能相關。

表1 不同ML模型10折交叉驗證的準確率和標準差

表2不同ML模型在訓練集和測試集上的評價指標

圖3 CatBoost和XGBoost模型的DFT計算值與ML預測吸附能的對比圖

圖4 每個描述符的SHAP值分布

本文應用了統一流形逼近與投影（UMAP）這一降維技術來降低訓練集的數據維度，UMAP減少局部和全局信息的相似性特征。初始聚類是對原始歸一化數據庫的減少值進行的，如圖5a所示，SHAP值的數據減少顯示出鍵合相互作用的兩個明顯趨勢，發現使用SHAP值可以生成更好的的特征。隨后將信息提取到數據中，在圖5c中發現DFT計算值和ML預測值之間的差異，其中圖5b描述了吸附能作為參考SHAP值的聚類。結合圖3和5d中的結果，發現頂部位置具有最高的吸附能。同時發現，MAE超過1.0eV的數據僅占訓練集的4.3%，所占比例相對較小。為了解決這一問題，本文接下來在弱吸附強度范圍內增加采樣。

圖5 使用UMAP方法和CatBoost模型進行2D降維可視化的分析

監督聚類用于識別具有較高偏差點的內部相關性，即作為異常檢測技術。因此，本文采用監督聚類分析周圍局部環境描述符的影響，通過此方法將本文數據庫中的總數從17343減少到13894，同時CatBoost模型的準確度顯著增加。其中，CatBoost表現出最高的魯棒性，但XGBoost和LightGBM模型顯示出相似的結果，如表3和表4所示。

表3 不同ML模型的準確率和標準差

表4 不同ML模型在訓練集和測試集上的評價指標

如圖6a所示，預測模型內的離散度降低。同時，如圖6b所示，每個特征對預測模型的影響都在減弱，發現與吸附質直接結合的表面原子數描述符有較高影響，表面的d軌道電荷和吸附質上的s軌道電荷起著至關重要的作用，隨后本文使用原始歸一化數據可以觀察到聚類之間更好的分離（圖6c）。基于SHAP值的聚類（圖6d）表明，從數據集中刪除頂點可以減少特征之間的干擾，有助于降低過擬合。

圖6 基于ML的CatBoost方法模型從數據庫中提取頂點的性能

本文通過評估所提出的特征對每個聚類的影響，進一步降低預測模型中特征之間的過擬合。在本文的模型中，影響聚類最大的特征是吸附質的類型，吸附質的HOMO能量值用于識別每個吸附質（如圖7a）。此外，整體結構受吸附質中氫鍵數量（“H_ads”）的影響，如圖7b所示。不含氫的吸附質彼此接近，具有全局相似性，具有相似的吸附行為（如C、N、S、O）。此外，d軌道電荷與吸附位點處表面原子的平均原子半徑直接相關（圖7c），當吸附位點的平均原子半徑約為2?時，d軌道電荷（“d_charge_surf”）的值最低。對比圖7d和6d，當“d_charge_surf”減小時，吸附能略有增加。同時，這表明當平均原子半徑較高時，鍵合相互作用增強，與C相關的聚類呈現出與S相同的趨勢。

圖7 使用CatBoost模型對SHAP值進行2D降維可視化

Usuga A F, Praveen C S, Comas-Vives A. Local descriptors-based machine learning model refined by cluster analysis for accurately predicting adsorption energies on bimetallic alloys[J]. Journal of Materials Chemistry A, 2024.

https://doi.org/10.1039/D3TA06316J