編輯 | 白菜葉

人工智能超級計算機公司 Cerebras 表示，其下一代晶圓級人工智能芯片可以在消耗相同電量的情況下將性能提高一倍。

Wafer Scale Engine 3 (WSE-3，文中又稱 CS-3) 包含 4 萬億個晶體管，由于使用了更新的芯片制造技術，比上一代增加了 50% 以上。

該公司表示將在新一代人工智能計算機中使用 WSE-3，這些計算機目前正在 Dallas 的一個數據中心組裝，這將是一臺能夠執行 8 exaflops（每秒 80 億次浮點運算）的超級計算機。

另外，Cerebras 與高通簽訂了一項聯合開發協議，旨在將人工智能推理的價格和性能指標提高 10 倍。

CS-3 可訓練高達 24 萬億個參數的神經網絡模型，是當前最大 LLM 規模的 10 倍多

憑借 WSE-3，Cerebras 可以繼續生產世界上最大的單芯片。它呈正方形，邊長為 21.5 厘米，幾乎使用整個 300 毫米硅片來制造一個芯片。

芯片制造設備通常僅限于生產不超過約 800 平方毫米的硅芯片。芯片制造商已經開始通過使用3D集成和其他先進封裝技術來突破這一限制，以組合多個芯片。不過，即使在這些系統中，晶體管數量也達到數百億個。

像往常一樣，這個大芯片配備了一些令人嘆為觀止的高級功能。

你可以在 WSE 芯片的發展史中看到摩爾定律的作用。第一個于 2019 年首次亮相，采用臺積電的 16 納米技術制造。對于 2021 年推出的 WSE-2，Cerebras 轉而采用臺積電的 7 納米工藝。WSE-3 采用 5 納米技術制造。

自第一個巨型芯片問世以來，晶體管的數量增加了兩倍多。與此同時，它們的用途也發生了變化。例如，芯片上的人工智能核心數量已顯著趨于平穩，內存量和內部帶寬也是如此。每秒浮點運算（flops）方面的性能改進已經超過了所有其他指標。

CS-3 和 Condor Galaxy 3

圍繞新型人工智能芯片 CS-3 構建的計算機旨在訓練新一代巨型語言模型，比 OpenAI 的 GPT-4 和谷歌的 Gemini 大 10 倍。

該公司表示，CS-3 可以訓練高達 24 萬億個參數的神經網絡模型，是當今最大的 LLM 規模的 10 倍多，并且無需訴諸其他計算機所需的一組軟件技巧。

根據 Cerebras 的說法，這意味著在 CS-3 上訓練 1 萬億個參數模型所需的軟件就像在 GPU 上訓練 10 億個參數模型一樣簡單。

可以組合多達 2,048 個系統，這一配置可以在一天內從頭開始訓練 LLM Llama 70B。不過，該公司表示，還沒有那么大的項目正在進行中。

第一臺基于 CS-3 的超級計算機是位于 Dallas 的 Condor Galaxy 3，它將由 64 臺 CS-3 組成。與其基于 CS-2 的兄弟系統一樣，Abu Dhabi 的 G42 擁有該系統。與 Condor Galaxy 1 和 2 一起構成一個 16 exaflops 的網絡。

「現有的 Condor Galaxy 網絡已經訓練了一些業內領先的開源模型，下載量已達數萬次。」G42 的首席技術官 Kiril Evtimov 在一份新聞稿中表示，「通過將容量加倍至 16 exaflops，我們期待看到 Condor Galaxy 超級計算機能夠實現的下一波創新浪潮。」

與高通達成協議

雖然 Cerebras 計算機是為訓練而構建的，但 Cerebras 首席執行官 Andrew Feldman 表示，推理、神經網絡模型的執行才是人工智能使用的真正限制。

據 Cerebras 估計，如果地球上的每個人都使用 ChatGPT，每年將花費 1 萬億美元，更不用說大量的化石燃料能源了。（運營成本與神經網絡模型的規模和用戶數量成正比。）

因此，Cerebras 和高通建立了合作伙伴關系，目標是將推理成本降低 10 倍。Cerebras 表示，他們的解決方案將涉及應用神經網絡技術，例如權重數據壓縮和稀疏性。

該公司表示，經過 Cerebras 訓練的網絡將在高通公司的新型推理芯片 AI 100 Ultra 上高效運行。

相關報道：

https://spectrum.ieee.org/cerebras-chip-cs3?