機器學習（ML）有望解決化學領域的重大挑戰，并加快研究假設的生成、改進和排序。盡管ML的工作流程具有總體適用性，但當前ML評估技術和指標的異質性導致難以比較和評估新算法的相關性。最終，這可能會延緩化學的大規模數字化，并使開發、實驗人員、審稿人和期刊編輯感到困惑。

為此，葡萄牙里斯本大學Tiago Rodrigues等人批判性地討論了一套針對不同類型的基于ML的出版物的方法開發和評估指南，重點強調了監督學習。

作者提供了來自不同研究人員和化學學科的各種示例，在考慮不同研究組的不同可訪問性的同時，建議側重于報道完整性和工具之間的標準化比較。

作者希望通過提出回顧/前瞻性測試清單并剖析其重要性以進一步提高ML透明度和可信度。具體來說，作者討論了特定支撐實驗的相關性，并分析了“該做和不該做”。通過推薦廣泛適用的指南，旨在提高對專注于化學科學中新概念、基準或新發現的ML出版物的期望。考慮到實用性、問責制和易于執行性，本文的建議分為不同的類別：

1）數據/代碼報告；

2）回顧性評估；

3）與基準比較；

4）前瞻性評估和模型解釋，從而提高三種ML研究類型中每種方法的質量、可轉移性和重用性。

圖1. ML中的回顧性評估

作者希望ML能夠加快化學科學的進步，并完全獨立于人為干預或作為專家推理的助手。隨著為應對特定挑戰而開發的ML方法數量的增加，統一的標準程序在短期內十分必要。作者建議，每種手稿類型都需要不同的評估研究，如在某些情況下可能需要進行徹底的前瞻性評估，但在其他情況下則不需要。此外，將評估與真正的ML前瞻性驗證分開是關鍵，在短時間內幾乎不可能進行適當的驗證且只能通過多次迭代、經過大量和多年研究來實現。

考慮到這一點，作者構建并討論了化學科學中ML的推薦回顧/前瞻性評估研究列表，并重申了沒有通用的方法，每個ML實施都可能需要特定的調查和控制，這在擬議的研究中施加了一定程度的靈活性。總之，ML評估指南是化學科學界亟需的一步，作者也期待有吸引力的討論和指南的持續更新。

圖2. 根據稿件類型所需的評估研究總結

Evaluation guidelines for machine learning tools in the chemical sciences, Nature Reviews Chemistry 2022. DOI: 10.1038/s41570-022-00391-9