中國工程院院士鄭緯民：超算完全可用于大模型訓(xùn)練 且極具成本優(yōu)勢

12月5日消息 經(jīng)國務(wù)院批準(zhǔn)，由科技部和河南省政府共同主辦，以“5G變革 共繪未來”為主題的2023世界5G大會將于12月6日至8日在河南省鄭州市鄭州國際會展中心舉行。

圍繞“強基韌鏈與引領(lǐng)帶動”、“賦能產(chǎn)業(yè)高質(zhì)量發(fā)展”，2023世界5G大會設(shè)置12個平行論壇，助力全球頂尖5G產(chǎn)業(yè)合作和資源整合。在世界5G大會正式開幕前夕，以“融合創(chuàng)新提升價值空間”為主題的“Tech Talk 2023 創(chuàng)新技術(shù)論壇”在今天率先拉開帷幕。

論壇期間，中國工程院院士、清華大學(xué)教授鄭緯民院士應(yīng)邀作了題為《支持大模型訓(xùn)練的三種算力系統(tǒng)》的主題演講。鄭緯民院士指出，目前支持大模型訓(xùn)練的有三種算力系統(tǒng)，分別為基于英偉達(dá)公司的GPU系統(tǒng)，基于國產(chǎn)AI芯片的系統(tǒng)，以及基于超級計算機的系統(tǒng)，三種算力系統(tǒng)各有優(yōu)劣。

解決10大軟件難題：國產(chǎn)AI芯片破局之路

鄭緯民表示，英偉達(dá)GPU系統(tǒng)的優(yōu)點是硬件性能好，生態(tài)心態(tài)也比較完善，因為大家都喜歡用；但問題在于中美博弈所引發(fā)的禁售風(fēng)險；同時，英偉達(dá)GPU產(chǎn)品價格高，價格暴漲的同時還一卡難求。當(dāng)然，這也給國產(chǎn)AI芯片一個難得的發(fā)展機遇，目前國內(nèi)已經(jīng)有30多家公司推出了國產(chǎn)芯片，“但用戶不太喜歡用，核心問題就是生態(tài)不好?！?/p>

在鄭緯民看來，如果國產(chǎn)AI芯片硬件達(dá)到國外芯片的60%性能，只要能把軟件和生態(tài)做好，用戶也是滿意的，“如果軟件和生態(tài)沒做好，即便硬件性能再強，照樣沒人用?！?/p>

鄭緯民總結(jié)了十大關(guān)鍵軟件技術(shù)，分別是編程框架、并行加速、通信庫、算子庫、AI編譯器、編程語言、調(diào)度器、內(nèi)存分配系統(tǒng)、容錯系統(tǒng)、存儲系統(tǒng)等問題?！叭绻堰@些問題解決好，即使只有國外芯片60%的性能，國產(chǎn)AI卡也會大受歡迎?！碑?dāng)然，鄭緯民也希望國內(nèi)廣大用戶盡可能采用國產(chǎn)AI芯片，以用促建，以用促研，不斷的給予正向反饋。

軟硬協(xié)同設(shè)計：國產(chǎn)超算完全可以支持大模型訓(xùn)練

鄭緯民指出，不止于GPU這種算力形態(tài)，超級計算機也完全可以用于支持大模型訓(xùn)練，但需要從源頭做好軟硬件協(xié)同設(shè)計。

目前，我國超算水平已經(jīng)處于國際第一梯隊，有14個國家一級超算中心，另外還有不少由地方和行業(yè)建設(shè)運營的超算中心。這些超算中心在科學(xué)計算上做得很不錯，發(fā)揮了很大的作用，但是部分超算中心的算力利用率并不飽和，完全也可以用這些機器來做大模型訓(xùn)練。

“但利用超算來進(jìn)行大模型訓(xùn)練，更要注重軟硬件協(xié)同設(shè)計。硬件發(fā)展很快，過去一臺機器，基本是CPU+內(nèi)存+硬盤就可以，但是現(xiàn)在計算部件不只是簡單的CPU，還有很多新的器件出現(xiàn)；軟件方面，不論是人工智能應(yīng)用軟件，還是基于圖數(shù)據(jù)的圖計算應(yīng)用，以及大數(shù)據(jù)應(yīng)用，軟件已和過去不一樣，如何將軟件和硬件更好協(xié)同起來非常重要。”

以鄭緯民院士團(tuán)隊開發(fā)的“八卦爐”大模型為例，通過設(shè)計和優(yōu)化，依托超算算力資源完全可以達(dá)到英偉達(dá)GPU平臺的性能。除此之外，鄭緯民院士團(tuán)隊目前已經(jīng)把LLaMA大模型在超算上成功運行，國內(nèi)的百川大模型等也已經(jīng)成功運行，而且成本只需要英偉達(dá)平臺的六分之一！

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。