近日，Nature上發表了一個評論，表明在Science和Nature雜志上，只有57-67%的文章是可以重復的，面對這個難題，作者提出了一些解決的方法。
2018年，我們踏上了評估巴西生物醫學研究論文可復制性的旅程。因此，60多個實驗室開始合作，重復20年來巴西出版物中的60項實驗。我們隨機選擇了使用三種常見實驗室技術的實驗：細胞存活率的MTT檢測、用于測量特定信使RNA的RT-PCR和用于評估嚙齒動物焦慮的升高迷宮法。
每個實驗將在三個實驗室重復，每個實驗室都根據原始文章的方法開發了重復方法。制定、審查和預先注冊這些步驟的過程需要協調團隊和進行復制的實驗室之間長達數月的溝通。我們圍繞正負控制的含義以及定義復制成功的不同指標進行了激烈的爭論。我們還花了很多時間從事普通的任務，例如研究不同品牌的博洛尼亞香腸的營養成分，以更好地模仿在一次實驗中喂養老鼠的自助餐廳飲食。
這些只是我們作為巴西可復制性倡議協調員面臨的一些障礙：由于新冠病毒大流行和巴西貨幣（真實貨幣）急劇貶值，實驗室也大規模關閉。因為這一切，實驗開始得很慢，該項目現在定于2022年底完成。
盡管如此，我們已經得出了適用于巴西科學之外的結論。作為一個廣泛的解決方案，更嚴格的標準和更好的方法描述是重要的，但對重現性來說不夠，而且可能不是對每一篇論文都可行。為了解決這些問題，對科學論文的期望必須改變。
生命科學的研究文章比以往任何時候都發展更快。20年來，高影響力期刊的數據量翻了一番，人們越來越期待基礎科學論文包含結果如何轉化為臨床應用的證據。因此，Nature等期刊上的文章最終代表了幾個人多年的工作。
盡管如此，這并不能保證可復制性。一個叫做癌癥生物學的重復性項目迄今為止只復制了17篇被高引用的文章中的5篇的主要發現，而在Science和Nature雜志上復制21篇社會科學文章的成功率在57 – 67%之間。
為了改善這種情況，已經進行了許多工作。擬議措施包括增加樣本規模、預先注冊協議和使用更嚴格的統計分析。我們確實認為，就可復制性而言，這些努力將得到回報。但如果發現科學中的每篇論文都采用這種心態，一篇典型的高影響力文章可能需要整整十年的工作，以及巨大的預算。這讓我們想到了其他更有效的方法來獲得可靠的科學。
對實驗室科學中的一流文章，通常有三個主要期望：
第二，通過使用不同方法的進一步實驗來確認它們代表了魯棒現象；
事實上，試圖在一篇五頁的論文中滿足所有三個期望，可能會導致其中任何一個都不能很好地實現。在同一份出版物中強制進行探索性和驗證性的研究，可能會扼殺前者或腐蝕后者，從而破壞兩者。為了確認最初的、令人興奮的觀察結果而施加的壓力可能會使后續的數據和分析產生偏差，特別是在進一步的實驗中需要某些結果才能讓論文被接受的情況下。許多研究人員不會對他們最初的觀察結果持懷疑態度，相反，他們自然會不信任或拒絕進一步反駁他們的假設并危及發表的數據。
此外，要求在一篇文章中進行大量實驗可能會將工作量轉移到許多脆弱的實驗上，而不是一些有力的實驗上。研究表明，隨著期刊影響的增長，統計能力和單個實驗的報告質量都沒有提高。來自許多實驗的數據量和種類可能會壓倒審稿人審查證據的能力。
最后，由于研究小組自己工作不可避免地改變方法、模型或條件的限制，大多數文章最終都根據受限數據得出結論，而沒有評估可推廣性。因此，默認情況下，單個研究小組的文章應被視為初步文章。如果期望每份出版物的結果在其他環境、模型或人群中都成立，那么可復制性危機似乎是不可避免的。與其要求每位作者進行價值十年的確認性實驗，不如通過其他機制來確定結論的有效性，不過這也許超出了論文的范圍。
還有什么其他方法來評估調查結果是否足夠可靠？一種選擇是利用不同研究小組的研究結果綜合已發表的文獻。另一個方法是組織確認性實驗，這些實驗專門用于評估魯棒性和推廣性。理想情況下，這些將結合不同實驗室的多種方法和實驗模型。小組之間的協調可以標準化數據收集，并保證獲得結果，從而促進合成并消除出版偏見。
在科學的各個領域建立了不同類型的合作。幾十年來，制藥行業一直在管理多中心臨床試驗。從事遺傳流行病學工作的財團匯集了來自不同人群的樣本，以提高統計能力。
這些努力在成本和勞動力方面成本都很高，不能對每一項公布的調查結果進行。盡管如此，它們是確認關鍵現象的更有效方式。
其他作者認為，產生初步結果的探索性研究應與評估這些結果的確認性項目更明確地分開，作為改善過程兩端的一種方式。探索性和確認性工作之間的獨立性可以讓科學家有更大的自由來探索假設，同時在測試時堅持嚴格性并防止偏見。此外，每種方法都需要一套不同的能力，應該通過不同的指標進行評估。
如果編輯政策減少對新實驗的要求，避免要求提供臨床潛力的證據，基礎探索科學將有所幫助。只要實驗和分析是公正的，探索也可以從發布范圍有限的孤立發現中受益。這可以幫助審查，減少偏見和加快傳播，同時減少通過偷工減料，或描述失敗的實驗，來講述連貫的故事。
一個更好的機制可能是建立由機構或資助者驅動的正式系統來管理合作項目。這種合作已經在特定領域存在，如美國國家老齡問題研究所、美國國防高級研究項目局（DARPA）和德國聯邦教育和研究部。盡管如此，它們仍有空間變得更加廣泛，也許與贈款申請或同行評審一樣成為生物醫學科學的一部分。
雖然我們可以讓普通論文更加嚴謹，但過分強調單個論文及其可重復性不應影響我們得出合理結論的其他方法。與其期望每一篇論文都能建立可靠的現象，倒不如改進對初步發現的系統確認更為可行。
要做到這一點，生物醫學界需要確信，一些資源應該轉用于調查較少的大型項目。資助者和機構必須更積極主動地協調科學工作者，以選擇和解決關鍵研究問題，而不是在實驗室競爭之間分散資源。這涉及建立激勵制度，在資金、職業發展和信貸方面，以鼓勵研究人員在大型項目中承擔不那么自主的角色。科學協會和期刊也可以在確定特定研究領域的哪些發現被認為對復制至關重要方面發揮作用，這是一個艱難的決定，需要科學界的廣泛投入。
將可復制性的負擔從單個研究人員轉移到有組織的社區最終可以提高被視為科學事實的標準，也可以對科學的公共傳播產生有益的影響。實現這一切的理想方式仍然是一個懸而未決的問題。但我們至少可以同意，它比一篇論文所能容納的要大。
文章鏈接：https://doi.org/10.1038/d41586-021-02486-7
原創文章，作者：Gloria，如若轉載，請注明來源華算科技，注明出處：http://www.zzhhcy.com/index.php/2023/10/11/e4bacd4aa0/
