中國科學院高能物理研究所

《現代物理知識》

一、高能物理與計算機網絡

高能物理（也稱粒子物理）是研究物質微觀性質及宇宙起源的基礎科學，不管是理論研究還是實驗研究，歷來都涉及大規模的科學計算與網絡的挑戰。就高能物理實驗而言，其特點就是實驗裝置巨大，幾乎每個實驗都是國際合作。高能物理實驗產生的海量數據需要高性能計算機進行處理，同時需要先進的網絡在國際范圍內進行數據交換。計算機網絡技術為高能物理提供了重要支撐，同時高能物理也極大地推動了計算機網絡技術的創新發展。

高能所從建所開始即引入了國內最先進的計算機用于高能物理計算。過去五十年，為應對計算和數據的挑戰，高能所積極開展計算機網絡技術研究，成為國內計算機、網絡技術、信息安全的推動者，為我國高能物理科學計算及國內互聯網發展做出重要貢獻。本文將回顧數十年來高能所在計算機及網絡方面的工作，展示我國高能物理計算與互聯網的發展。

二、高能所與科學計算

數據處理是高能物理實驗不可或缺的重要組成部分。隨著高能物理實驗規模不斷擴大以及計算機技術的發展，高能所經歷了大型機、小型機、集群及云計算等幾代技術更迭。

七十年代高能所建立后，高能所開始了對大型機的應用研究。當時世界上的主流計算機基本為大型機。為了支撐八七工程預制研究和北京正負電子對撞機設計時期的計算任務，1973年高能所采購了當時國內最先進的DJS-8(320)計算機，建立起基于國產晶體管計算機的科學計算環境。

七十年代后期，小型機開始得到快速發展。1978年，高能所部署了美國DEC公司生產的PDP-11 系列小型計算機，開始小型機應用的第一步。1984年，高能所引進了VAX-11系列計算機，用于北京正負電子對撞機工程數據處理。VAX-11是當時最先進的32位小型機，是PDP-11系列16位機的擴展版。1986年通過加入KERMIT通訊程序，實現了多臺VAX計算機甚至與微型計算機之間的文件傳輸。1988年，又通過以太網連構建小型機集群系統。這一階段是高能所第一代計算平臺。VAX小型機在相當長一段時間內是北京譜儀BES實驗數據處理與計算的主力平臺（如圖1）。

圖1 VAX-11小型機集群

進入到九十年代以后，隨著北京譜儀BES實驗運行積累的數據增加，VAX計算平臺能力越來越顯不足，高能所開展RISC工作站計算平臺研究，建立起HP RISC工作站集群，形成第二代計算平臺。由于HP RISC工作站和DEC工作站均使用UNIX操作系統（HP的叫HP-UX，DEC的叫ULTRIX），這兩種機器可以很好地整合在一起形成新的BES數據重建環境，同時UNIX系統提供了優良的X Window可視化界面，使計算機的使用友好性和效率大幅提升。該計算環境成為BES實驗的關鍵支撐系統，一直沿用到2000年左右。

進入新世紀以后，高能所高能物理計算平臺規模更快速度擴大，并開始研究以低成本實現高性能、可擴展的數據處理計算平臺，PC集群應運而生，形成第三代計算平臺。PC機性價比高，通過安裝Linux操作系統實現計算環境從小型機向PC機的快速遷移。高能所因此成為國內最早開展Linux研究和大規模部署的機構之一。到2002年，高能所建設了4個獨立的PC集群，分別為大型強子對撞機LHC、羊八井宇宙線觀測站YBJ-ARGO、BESIII等實驗提供服務。隨后幾年，高能所計算集群的規模迅速擴張，到2014年，計算集群規模跨入萬核級，共有計算資源12600CPU核（如圖2）。

圖2 高能所高性能計算系統

高能物理數據處理作為一種典型數據密集型計算模式，對于存儲系統和IO性能有很高的要求。2003年開始，高能所啟動了并行文件系統的研究，并建立了國際上最早的基于Lustre的高能物理大型并行存儲系統。在計算平臺的建設過程中，存儲系統從本地存儲、NFS網絡存儲不斷發展到目前的大型分布式存儲系統，高能所基于磁盤、磁帶等不同的介質構建了分級存儲環境，滿足百PB級的數據存儲和長期保存。

隨著高能物理實驗規模變大，高能所也不斷增加新的計算應用服務，高性能計算開始逐步受到重視。高性能計算是指以一種系統化的方法，在較短時間內利用大量計算及存儲資源處理海量數據或完成海量計算。例如：加速器設計模擬、生物大分子結構分析、天體黑洞研究、理論物理格點QCD計算、粒子實驗物理分波分析、基于深度學習的頂點重建算法等等。

2004年，高能所為生物大分子結構分析應用提供了高性能并行計算服務，這是高能所的首個高性能計算應用。2010年開始，增加了GPU計算節點，為粒子物理分波分析等應用提供異構高性能計算服務。

2006年，高能所與歐洲核子研究中心CERN簽署了參與建設國際高能物理網格（WLCG）的合作備忘錄，建立了數據密集型網格平臺站點并成為WLCG二級中心。該二級中心支持的應用包括ATLAS、CMS和LHCb等三個高能量前沿高能物理實驗研究，每年實驗數據交換總量近10PB，為參加LHC國際合作的約13000人提供數據模擬和數據分析服務。2014年，高能所為BESIII實驗引入DIRAC系統作為分布式計算的框架，構建高能所主導的國際分布式計算平臺。很快，CEPC 和JUNO 實驗相繼接入DIRAC 系統并為用戶提供分布式的計算和存儲服務。

云計算被認為是互聯網的第三次革命。從2012年開始，高能所基于虛擬化和容器技術先后建設了科學計算云平臺和公共服務云平臺，并在異地資源管理與共享、大規模作業調度技術等方面開展了深入的研究并取得較好的應用效果，并逐步建立了散裂中子源、高海拔宇宙線觀測站等多個計算分中心，以滿足各類高能物理實驗的計算需求。

三、高能所與互聯網

高能所與國際高能物理實驗室有著廣泛的合作關系，與國外同行的科研合作和國際交流對網絡通訊的迫切需求，促進了我國廣域網的蓬勃發展。

1984年，為了能高效地使用位于北京市木樨地的中國水利水電科學研究院的一臺高性能計算機，高能所通過微波通訊遠程連接到水科院的計算機并進行遠程操作，這是高能所網絡發展的起點。

二十世紀八十年代初，高能所參加了CERN的國際合作項目，當時迫切需要建立國際間的計算機通信連接，實現數據信息的共享。高能所利用當時中國唯一一條公開的北京與維也納之間的通訊線路實現了與CERN的通訊。1986年8月25日，通過這條衛星線路向位于日內瓦的斯坦伯格教授發出了中國第一封電子郵件（如圖3所示）。

圖3 第一封國際電子郵件

隨著中國科學工作者國際交流日益頻繁，國際網絡通訊變得非常必要。1987年，在CERN和七機部710所的協助下，借用710所到維也納的專線把高能所計算中心的VAX785計算機連到了CERN的計算機網絡系統中。1988年7月，高能所通過奧地利無線電公司的衛星鏈路，采用X.25 協議使VAX785成為CERN計算機網絡中的一個遠程節點機，這樣在高能所計算中心開通了與CERN之間直接收發電子郵件、文件傳輸、遠程登錄的功能（如圖4）。這個節點的開通為高能所的科學家們回國后繼續進行國際合作和對外交流提供了極大方便。

圖4 1986~1993年互聯網大事記

1991年的中美高能物理合作會談上正式提出建立一條從高能所到位于美國加利福尼亞州斯坦福直線加速器中心（SLAC）的64 kbps速率的計算機聯網專線，以滿足北京正負電子對撞機數據和軟件傳輸的需要。1993年3月2日，高能所租用AT&T公司的國際衛星信道建立的接入美國SLAC國家實驗室的64 kbps專線正式開通，成為我國部分連入Internet的第一根專線（如圖5）。該成果獲得中國科學科技進步三等獎。海外媒體曾經評價高能所建立的第一條64 kbps 專線接通國際互聯網的意義，不亞于20世紀初詹天佑建立了中國第一條鐵路。1994年5月高能所正式加入Internet，1994年8月專線改為通過海底光纜經日本KEK到美國，速率提升到128 kbps，并先后申請得到10 個C 類IP 地址。高能所由此成為中國最早的ISP，通過微波、電話線等連接多個單位，為1000多名科學基金負責人提供撥號上網服務，同時也為多個外國在京的企業和大使館提供撥號上網服務。

圖5 中美兩國科學家1991年草擬的IHEP-SLAC聯網設計圖

在建立國際互聯網專線之后，Internet最重要的一項應用WWW技術也迅速發展。1994年5月，高能所使用Linux操作系統，建立了域名為www.ihep.ac.cn的網站（如圖6），至此中國第一臺www服務器開始在高能所運行。

圖6 中國第一個WWW網站

隨著科學數據的增加，以及互聯網開始逐步普及，高能所于2001 年建立了同國內運營商ChinaNET 的512 Kbps 網絡鏈接，并于次年升級到10Mbps，并開通了與中國科學院計算機網絡信息中心10 Mbps的連接，改善了高能所到科技網CSTNET和教育網CERNET的通訊能力。

為了進一步提高網絡服務質量，2005年高能所計算中心與科學院計算機網絡信息中心協商，將高能所到中國科技網的專線帶寬提升到1 Gbps，同時建成了羊八井到高能所的155 Mbps網絡專線，用于羊八井國際宇宙線實驗數據的傳輸。

2006年，高能所牽頭聯合中方其它三個合作單位參與歐盟第六框架計劃FP6下的EUChinaGrid 項目，該項目的主要目標是通過合作，實現中國與歐洲之間網格基礎系統的互連和協同運行，推動網格在eScience領域的應用。2009 年起，在中國下一代互聯網示范工程(CNGI項目)的支持下，高能所到科學院計算機網絡信息中心的專線帶寬升級到10 Gbps。2011年，建立了支持純IPv6 的廣域網鏈路，實現了高能所同CNGI-IPv6的高速連接。2012年，完成了包含高能所園區、大亞灣中微子實驗園區、中國散裂中子源園區以及羊八井宇宙線觀測站在內的科研信息基礎設施建設和CNGI應用示范工程項目建設任務，并開展了SDN網絡架構的研究與應用。此時，隨著大亞灣中微子實驗正式取數，由深圳大亞灣到高能所計算中心的150 Mbps 專線網絡也建成并投入運行。

中國散裂中子源（CSNS）是國家“十一五”期間重點建設的首個十二大科學裝置。為了提供與高能所北京本部的可靠網絡通信能力，2015年9月建立了CSNS 到高能所的100 Mbps 專線。2018 年隨著中國散裂中子源順利通過國家驗收，10月正式將CSNS到高能所的專線帶寬升級至1 Gbps。為了進一步提升數據交換能力和分布式計算系統效率，2022年5月，CSNS到高能所的專線帶寬升級到10Gbps。

高海拔宇宙線觀測站項目（LHAASO）2018年2月開始正式取數。為了確保實驗數據實時傳輸回高能所，2019年11月建成LHAASO到高能所的400Mbps專線，隨著取數規模增大，2021年該專線帶寬升級至2.4 Gbps。

2018年3月，為了實現WLCG高能物理實驗數據的高效全球共享，高能所計算中心聯合中國科技網、中國教育網成功加入LHCONE，支持IPv4 和IPv6，帶寬均為10 Gbps，此時，高能所廣域網出口帶寬上升到40 Gbps。同時，高能所繼續優化了國際網絡鏈路和路由策略，聯合LHCONE聯盟成員開通了高能所到美國ESNET的LHCONE連接，使得高能所到美國各個站點網絡性能進一步提升。從2019年1月開始，高能所到歐洲的通信路由，從原來經中歐海纜到歐洲GEANT，升級為中歐陸纜鏈路方案，從高能所到CERN的網絡延遲減少了20-40ms，進一步提升了科學數據國際傳輸的效率。

高能所是我國較早確立網絡安全技術研究方向的科研機構之一。網絡安全與信息化是一體之兩翼，伴隨著信息技術在高能物理領域的應用和互聯網的接入，網絡安全問題開始出現并引起大家的重視。

1997年開始，高能所網絡安全團隊開始進行黑客入侵防范研究，取得一批國內領先的成果，這些成果曾獲得中國科學院科技進步獎一等獎、國家科技進步獎二等獎，為國家培養了一批網絡安全研究人才，而且實現了成果轉化。

隨著網絡攻擊方式逐漸增加，安全防護建設逐漸由點到面，高能所安全團隊開始探索和研究體系化的安全防護。2013 年，安全團隊更新并發布了《高能所信息安全體系》，該體系從信息安全工作小組構成、信息安全基礎設施建設、安全規范和制度、安全技術手段等多方面、全方位地對高能所信息安全相關工作進行了闡述和規范。

高能所信息安全團隊根據所內安全工作實際，研究設計了面向跨地域多園區、多大科學裝置的網絡安全運行服務平臺（IHEP-SOC）。IHEP-SOC平臺在安全數據分析和網絡安全運營的基礎上，提供了安全威脅情報共享能力，實現了多裝置、多園區的安全工作協同化。基于此平臺，安全團隊持續開展包括DNS安全、WEB安全以及人工智能、情報管理、自動化應急響應等技術研發工作，形成了具有大裝置和科學數據中心特色的網絡安全學科方向和人才隊伍，相關研究成果已經在國內多家大裝置和科學數據中心得到應用部署。

高能所于2008年建立了全球高能物理計算網格（WLCG）的二級站點。高能所網格計算系統的主機和國內參加WLCG實驗的物理學家（作為WLCG網格計算系統的用戶）需要X.509證書進行身份認證。為了滿足這一需求，高能所于2006年建立了自己的網格證書認證機構（IHEP CA），并且加入了全球網格認證聯盟。IHEP CA簽發的證書在國際網格計算環境中都是受信任的。IHEP CA 支持了WLCG 的四個實驗，BELLE II實驗，以及國內基于DIRAC分布式系統的BESIII，JUNO，CEPC 等實驗用戶。從2006 年至2020年，IHEP CA運行穩定，累計簽發1000多個各類證書，有力支持了高能所物理計算的國際合作。

四、高能所計算與網絡的未來

國內新一代高能物理相關研究每年將產生數百PB的數據。為應對計算與網絡的新挑戰，高能所計算中心啟動了大數據和人工智能技術的研究，其中包括基于AI的實驗裝置自動化運行控制和數據獲取技術、科學數據處理大型軟件框架、數據壓縮技術、數據分析技術以及網絡優化技術研究等，并取得了階段性成果。可以預見，大數據+AI技術將成為高能所新一代科學計算與網絡技術新的發展方向。

量子計算是大規模高性能計算技術的突破口。量子計算在高能物理中的應用已經成為研究熱門方向。量子計算有望在高能物理計算中體現出優勢，將突破傳統方法難以逾越的計算瓶頸，解決基礎科學重大問題。2021年高能所將量子計算寫入了研究所十四五發展規劃，并啟動量子計算模擬器、格點QCD和分波分析的量子計算方法等重大問題的研究，力爭在十四五期間為量子計算打下堅實基礎。

五、致謝

高能所的計算與互聯網是國內高能物理實驗科學計算、數據交換及國際合作的重要基礎。幾代人的努力使高能所的計算與互聯網一直站在國內計算機技術應用領域的前沿，促進了國內科學計算與互聯網技術的發展。作者衷心感謝高能所計算中心的所有同事及前輩所做出的貢獻，感謝孫功星、李海波、石京燕、汪璐、曾珊等人提供了本文的部分內容，尤其感謝陳和生、許榕生、朱蘭生、壽學儉、徐曉康、楊大鑑、于傳松等老同志為本文提供了珍貴資料。