末成年小嫩xb,嫰bbb槡bbbb槡bbbb,免费无人区码卡密,成全高清mv电影免费观看

使用 LLM 設計「硅大腦」:Hopkins 團隊利用 ChatGPT 自動描述尖峰神經元陣列

來自公眾號:ScienceAI
本文以傳播知識為目的,如有侵請后臺聯系我們,我們將在第一時間刪除。

使用 LLM 設計「硅大腦」:Hopkins 團隊利用 ChatGPT 自動描述尖峰神經元陣列

編輯 | 蘿卜皮

大型語言模型(LLM)能夠根據各種提示(包括代碼生成)合成聽起來合理的響應,因此受到了廣泛的關注。

約翰霍普金斯大學(Johns Hopkins University)的電氣和計算機工程教授 Andreas Andreou 團隊正利用 LLM 開創一種創建神經網絡芯片的新方法——神經形態加速器,可以為自動駕駛汽車和機器人等下一代實體系統提供節能、實時的機器智能。

Andreou 實驗室的 Michael Tomlinson 和 Joe Li 使用自然語言提示和 ChatGPT(GPT-4) 生成詳細指令來構建脈沖神經網絡芯片:一種運行方式與人腦非常相似的芯片。

通過 ChatGPT 的逐步提示,從模仿單個生物神經元開始,然后連接更多生物神經元形成網絡,他們生成了可以制造的完整芯片設計。

該設計流程展示了如何使用 ChatGPT 進行自然語言驅動的硬件設計。AI 生成的設計使用手工制作的測試臺進行了模擬驗證,同時已提交使用開源 EDA 流程,并且交給芯片廠商進行了實體制造。

「這是第一個由機器使用自然語言處理設計的人工智能芯片。這類似于我們告訴計算機『制作人工智能神經網絡芯片』,計算機會吐出用于制造芯片的文件。」Andreas Andreou 說道。

該研究以「Designing Silicon Brains using LLM: Leveraging ChatGPT for Automated Description of a Spiking Neuron Array」為題,于 2024 年 1 月 25 日發布在arXiv預印平臺。

使用 LLM 設計「硅大腦」:Hopkins 團隊利用 ChatGPT 自動描述尖峰神經元陣列

在過去三十年中,CMOS 技術和 CAD 工具的進步帶動了處理器技術的進步,進而推動了對設計和自動化工具的研究,為通用計算和人工智能提供了復雜的片上系統(System on Chip)。

Verilog 和 VHDL 均于 20 世紀 80 年代發布,現已成為數字設計中的標準綜合工具。這些工具允許工作人員描述可以直接映射到數字標準單元的行為功能,通過布局和布線生成物理布局。Verilog 和 VHDL 是現代 CAD 工具的原理圖入口點。

但是,用 Verilog 和 VHDL 編寫和維護代碼會產生巨大開銷,因為這些抽象設計處于相當低的級別。科學家提出了許多方法來解決這個問題。這些方法的總體趨勢是轉向更高級別的語言,然后可用于生成 VHDL 或 Verilog。

2023 年 11 月,OpenAI 的 ChatGPT 吸引了大家的關注,它為 LLM 提供了一個簡單但功能強大的應用界面,用于執行生成式 AI 任務。這種與 LLM 的交互界面能夠執行各種任務,例如撰寫散文和生成代碼。雖然還存在注意力廣度和適應性問題,但該模型在生成 python 方面已被證明是有效的。

在最新的研究中,約翰霍普金斯大學的電氣和計算機工程教授 Andreas Andreou 同他的兩個學生 Michael Tomlinson 和 Joe Li 一起探索使用生成式 AI 和 ChatGPT 來設計硬件系統,即尖峰神經網絡芯片、神經形態電子系統,用于硬件 AI 推理。

使用 LLM 設計「硅大腦」:Hopkins 團隊利用 ChatGPT 自動描述尖峰神經元陣列

圖示:兩層全連接神經網絡。(來源:論文)

該研究與當前使用 LLM 進行 CAD 的研究不同,該團隊重點關注數字尖峰神經元、非常規計算架構,并強調完整的系統設計。

研究人員記錄了,從對話式設計描述到可編程尖峰神經元陣列的功能性和可綜合性 Verilog 描述,所采取的步驟。最終的 AI 生成的 HDL 具有標準化接口、SPI 和多個層次結構。

使用 LLM 設計「硅大腦」:Hopkins 團隊利用 ChatGPT 自動描述尖峰神經元陣列

圖示:初始和完整生成的 LIF 神經元 Verilog。(來源:論文)

該芯片的最終網絡架構是一個小型硅大腦,具有兩層互連的神經元。用戶可以使用 8 位可尋址權重系統來調整這些連接的強度,從而允許芯片配置學習權重來確定芯片的功能和行為。

重新配置和可編程性是通過稱為標準外設接口 (SPI) 子系統的界面來完成的,該子系統類似于遙控器,對用戶使用十分友好。該 SPI 子系統也是由 ChatGPT 使用自然語言提示設計的。

Tomlinson 解釋說,他們設計了一個簡單的神經網絡芯片,沒有復雜的編碼作為概念證明。在發送芯片進行制造之前,團隊通過廣泛的軟件模擬進行了驗證,從而確保最終設計能夠按預期工作,并且允許他們迭代設計、可解決任何問題。

使用 LLM 設計「硅大腦」:Hopkins 團隊利用 ChatGPT 自動描述尖峰神經元陣列

圖示:初始生成的網絡和 SPI 模塊。(來源:論文)

當然,像 ChatGPT 這樣的技術有潛力提高設計效率,正確生成簡單模塊,從頭開始快速生成基礎代碼,并在提示詳細說明時提供對現有代碼近乎即時、準確的修改。然而,目前 ChatGPT 的輸出質量常常達不到要求。

ChatGPT 的響應往往經常包含某種形式的錯誤,無論是語法上還是邏輯上的錯誤。ChatGPT 還自信地表現出對更高級概念的無知,導致潛在的混淆錯誤,增加了驗證的難度。

這些問題會變得更加復雜,給提示者帶來了沉重的負擔。如果提示者知道答案,他們可以引導 ChatGPT 找到答案;但如果不具備這些知識,就很難將該技術用作抽象 Verilog 描述的工具。

雖然如此,該團隊的最終設計以電子方式提交給 Skywater「鑄造廠」,這是一家芯片制造服務公司,目前正在使用相對低成本的 130 納米制造 CMOS 工藝「打印」該設計。

Tomlinson 說:「雖然這只是邁向大規模自動合成實用硬件人工智能系統的一小步,但它表明人工智能可以用來創建先進的人工智能硬件系統,從而有助于加速人工智能技術的開發和部署。」

「過去 20 年來,半導體行業在縮小計算機芯片上物理結構的特征尺寸方面取得了巨大進步,從而在同一硅面積上實現了更復雜的設計。先進的計算機芯片,反過來支持更復雜的軟件計算機輔助設計算法和更先進的計算硬件的創建,從而使計算能力呈指數級增長,從而推動當今的人工智能革命。」

這項研究代表了首批完全由自然對話語言合成的 ASIC。

原創文章,作者:計算搬磚工程師,如若轉載,請注明來源華算科技,注明出處:http://www.zzhhcy.com/index.php/2024/03/18/6f69909891/

(0)

相關推薦

主站蜘蛛池模板: 观塘区| 康平县| 泾川县| 新丰县| 塔城市| 惠安县| 芜湖县| 临桂县| 龙泉市| 甘孜县| 景泰县| 无为县| 调兵山市| 景洪市| 蒙城县| 渭源县| 平凉市| 天台县| 瓦房店市| 基隆市| 托克逊县| 三江| 大丰市| 嘉善县| 梁平县| 广东省| 沂南县| 大余县| 曲周县| 大悟县| 夏河县| 陇西县| 临夏市| 泰顺县| 长宁区| 武清区| 织金县| 四川省| 临泉县| 陕西省| 金溪县|