可復制性(重復實驗時獲得相同結果的能力)是科學的基礎。但在許多研究領域,事實證明這很難實現。現在,一組重要且備受期待的研究論文表明,在癌癥生物學中進行和解釋復制研究是多么復雜、耗時和困難。
近十年前,弗吉尼亞州夏洛茨維爾非營利性開放科學中心和總部位于加利福尼亞州帕洛阿爾托的研究服務公司ScienceExchange組織的研究團隊開始系統地測試是否可以復制著名科學期刊上高引用論文中的特定實驗。這項工作是備受矚目的可復制性項目:癌癥生物學(RPCB)倡議的一部分。研究人員記錄了七項實驗結果或“效果”;其中五項可以進行數值測量。總體而言,46%復制成功,因為這些指標有三個或更多指標評分,例如結果是否在實驗預測的置信區間內,還是保留了統計意義。
該項目是在制藥公司報告稱他們無法復制在許多癌癥生物學論文中的發現后啟動的。但這些報道沒有指明論文的名稱,也沒有說明復制的標準。RPCB的設想是為這種回顧性復制研究帶來嚴格的標準。
最清晰的發現之一是,實驗治療的效果,如殺死癌細胞或縮小腫瘤,復制效果要小得多,總體而言比最初報告的要小85%。很難知道為什么。例如,可能存在統計學僥幸;原始研究或復制中存在偏差;或復制者缺乏專業知識,導致重復研究遺漏了原始研究的一些基本質量。
該項目也比預期的要長五年多,盡管花費了額外的時間,但團隊只能評估他們最初計劃涵蓋的實驗的四分之一。這說明了一個事實,即此類評估花費的時間和精力比預期的要多得多。
RPCB研究的預算為在三年內花費130萬美元。這增加到了150萬美元,不包括人事或項目管理費用。
在選定的53篇論文中,沒有一篇包含足夠的細節,供研究人員重復實驗。因此,復制者必須聯系作者以獲取信息,例如注射了多少細胞,通過什么途徑,或者使用的確切試劑。通常,這些細節甚至連作者都無法提供,因為信息沒有記錄下來或實驗室成員已經離職。三分之一的作者要么拒絕了更多信息的請求,要么沒有回復。在評估的193項實驗中,復制者還必須向原始作者索取關鍵試劑(如細胞系、質粒或模型生物),因為他們無法購買或從存儲庫中獲得。大約69%的作者愿意分享他們的試劑。
自可復制性項目開始以來,鼓勵作者分享他們研究的更精確的方法細節。Nature與其他期刊一起,于2013年推出了可復制性清單。它要求作者報告關鍵的實驗數據,如所用動物的菌株、年齡和性別。還鼓勵作者將其實驗方案存儲在存儲庫中,以便其他研究人員可以獲得它們。
此外,2012年發布了“Landis 4”標準,以促進嚴格的動物研究。它們包括對致盲、隨機化和統計評估樣本大小的要求。注冊報告是另一個關鍵發展,這是研究人員在進行實驗之前發布研究設計的文章格式。這意味著“無效實驗”更有可能發布,而不是埋在文件抽屜中。項目團隊發現,“無效實驗”更有可能被復制;80%的此類研究通過三個指標,而“積極結果”僅為40%。
更難解決的事實是,在一個實驗室有效的東西可能在另一個實驗室不起作用,這可能是因為固有的差異或方法上的差異沒有觀察到。以下為例:一項研究跟蹤了某種類型的細胞是否有助于腫瘤的血液供應。跟蹤這些細胞需要它們表達“報道”分子(在這種情況下,是綠色熒光蛋白)。但是,盡管進行了多次嘗試和調整,復制團隊仍然無法使“報道”分子在要跟蹤的細胞中足夠活躍,因此復制嘗試被停止了。
RPCB團隊與原始作者一起審查了復制協議,并對其進行了同行審查。但關于實驗設計的詳細預先協議本身并不一定能解釋重復研究時遇到的挫折。這就是為什么美國國防高級研究項目局(DARPA)使用另一種復制方法。在一個DARPA項目中,為研究團隊分配了獨立的驗證團隊。研究團隊必須幫助驗證團隊進行故障診斷和支持,以便在工作發布之前,在另一個實驗室獲得關鍵結果。這種方法包含在方案要求中:分配給研究方案的資金的3-8%用于此類核查工作。
這些研究還表明,研究人員、研究資助者和出版商必須更認真地對待復制研究。研究人員需要參與此類行動,資助者必須增加對這些研究的投資,出版商也必須發揮作用,以便研究人員能夠確信這項工作很重要。值得稱贊的是,宣布該項目結果的新聞發布會包括美國國家科學、工程和醫學學院以及國家衛生研究院領導人的講話和贊揚。但該項目由德克薩斯州休斯頓的慈善投資基金阿諾德風險投資公司資助。
整個科學界必須認識到,不是為了重復而重復,而是為了獲得對科學進步至關重要的保證:觀察或結果足夠可信,可以啟發未來的工作。下一波復制工作應旨在使這工作更容易實現。
https://www.nature.com/articles/d41586-021-03736-4
原創文章,作者:Gloria,如若轉載,請注明來源華算科技,注明出處:http://www.zzhhcy.com/index.php/2023/10/16/89b1e67916/