2024年12月26日，經(jīng)工信部指導(dǎo)、由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院主辦的2024云計(jì)算產(chǎn)業(yè)和標(biāo)準(zhǔn)應(yīng)用大會(huì)在北京舉行。本次大會(huì)以“云承百業(yè)促發(fā)展 智引標(biāo)準(zhǔn)啟新程”為主題，匯集政產(chǎn)學(xué)研用各方專家學(xué)者，共同探討云計(jì)算產(chǎn)業(yè)發(fā)展方向和未來(lái)機(jī)遇，展示云計(jì)算標(biāo)準(zhǔn)化工作重要成果。會(huì)上，百度智能云榮獲2024年度云計(jì)算標(biāo)準(zhǔn)化優(yōu)秀成員單位及2024年度全國(guó)信標(biāo)委云計(jì)算標(biāo)準(zhǔn)工作組優(yōu)秀專題組單位，并成功當(dāng)選“智能云服務(wù)標(biāo)準(zhǔn)工作組”組長(zhǎng)單位。
大會(huì)還公布了《信息技術(shù) 云計(jì)算 智能云服務(wù)通用要求》測(cè)評(píng)結(jié)果，百度智能云百舸異構(gòu)計(jì)算平臺(tái)(以下簡(jiǎn)稱百舸平臺(tái))，百度智能云千帆大模型平臺(tái)(以下簡(jiǎn)稱千帆平臺(tái))、百度專有云ABC Stack平臺(tái)(以下簡(jiǎn)稱ABC Stack)順利通過(guò)測(cè)評(píng)。
大會(huì)最后，百度集團(tuán)產(chǎn)品委員會(huì)聯(lián)席主席宋飛作為企業(yè)代表，分享了大模型時(shí)代云計(jì)算發(fā)展的新趨勢(shì)與新動(dòng)態(tài)。
從極致彈性到極致規(guī)模：大模型時(shí)代的基礎(chǔ)設(shè)施升級(jí)
談及大模型時(shí)代對(duì)基礎(chǔ)設(shè)施的需求時(shí)，宋飛表示，大模型技術(shù)的興起引領(lǐng)了計(jì)算范式的深刻變革。在以 CPU 為核心的通用計(jì)算時(shí)代，計(jì)算主要依賴通用服務(wù)器，追求極致的彈性和性價(jià)比。而在大模型時(shí)代，隨著模型參數(shù)規(guī)模的快速增長(zhǎng)，算力需求呈現(xiàn)爆發(fā)式提升。這不僅要求企業(yè)持續(xù)提升單服務(wù)器的計(jì)算密度，還需通過(guò)高效互聯(lián)構(gòu)建大規(guī)模集群。目前，大模型已進(jìn)入十萬(wàn)卡規(guī)模的集群階段，對(duì)企業(yè)在運(yùn)營(yíng)、調(diào)度、機(jī)房和網(wǎng)絡(luò)等多個(gè)方面提出了高要求。企業(yè)亟需構(gòu)建具備極致高密、極致互聯(lián)和極致規(guī)模特性的基礎(chǔ)設(shè)施。
宋飛指出，構(gòu)建極致規(guī)模的基礎(chǔ)設(shè)施首先需要解決算力供應(yīng)問(wèn)題。在國(guó)內(nèi)環(huán)境下，采購(gòu)英偉達(dá)的GPU常受多重限制，“一云多芯”是必然選擇。而如何在算力受限的情況下，把有限的卡聚合起來(lái)，充分利用是關(guān)鍵所在。目前，通過(guò)一系列優(yōu)化手段，在萬(wàn)卡集群上，百舸已實(shí)現(xiàn)95%以上的多芯混合訓(xùn)練效能。
在解決了算力供給問(wèn)題后，如何確保大模型訓(xùn)練的穩(wěn)定性同樣至關(guān)重要。穩(wěn)定運(yùn)行要求快速發(fā)現(xiàn)和定位故障，盡量減少任務(wù)中斷時(shí)間甚至實(shí)現(xiàn)不中斷運(yùn)行。針對(duì)這一挑戰(zhàn)，百舸平臺(tái)對(duì)模型訓(xùn)練的穩(wěn)定性進(jìn)行了全面優(yōu)化。平臺(tái)具備強(qiáng)大的故障診斷能力，能夠快速自動(dòng)檢測(cè)導(dǎo)致訓(xùn)練異常的節(jié)點(diǎn)故障，同時(shí)提供自動(dòng)化容錯(cuò)功能，將任務(wù)重新調(diào)度至健康節(jié)點(diǎn)，確保訓(xùn)練順利進(jìn)行。
“目前，百舸平臺(tái)已實(shí)現(xiàn)萬(wàn)卡集群99.5%以上的有效訓(xùn)練時(shí)長(zhǎng)，在業(yè)內(nèi)處于領(lǐng)先水平。”宋飛說(shuō)。
從繁瑣到高效：大模型改變AI應(yīng)用落地范式
傳統(tǒng)AI應(yīng)用落地時(shí)，需要針對(duì)不同的細(xì)分場(chǎng)景訓(xùn)練專屬模型，涉及數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練和場(chǎng)景開(kāi)發(fā)等復(fù)雜流程，效率低下且容易產(chǎn)生碎片化問(wèn)題。大模型時(shí)代的到來(lái)，通過(guò)利用大模型的泛化能力，只需適量的行業(yè)數(shù)據(jù)或精調(diào)處理，即可顯著提升效率，降低開(kāi)發(fā)門(mén)檻與成本。
百度智能云AI與大模型平臺(tái)副總經(jīng)理施恩表示，目前企業(yè)通過(guò)大模型進(jìn)行AI應(yīng)用落地的路徑有三種：一種選擇是直接調(diào)用模型，也就是模型推理;第二種是模型應(yīng)用效果優(yōu)化，包含了提示詞優(yōu)化、模型精調(diào)以及模型能力增強(qiáng);第三種則是大模型應(yīng)用開(kāi)發(fā)。在這一過(guò)程中，千帆平臺(tái)從模型開(kāi)發(fā)、模型服務(wù)到應(yīng)用開(kāi)發(fā)，為企業(yè)提供全流程支持，打通了大模型落地應(yīng)用的“最后一公里”。
模型調(diào)用方面，千帆ModelBuilder提供包括文心全系列模型在內(nèi)的豐富模型，其中ERNIE 4.0 Turbo等旗艦?zāi)Ｐ瓦m用于通用的復(fù)雜場(chǎng)景;ERNIE Speed Pro、ERINIE Lite Pro等主力模型，適用于垂直場(chǎng)景定制訓(xùn)練或構(gòu)建行業(yè)模型;此外，還有輕量級(jí)、垂直場(chǎng)景模型，分別適用于特定垂直場(chǎng)景調(diào)用。
模型應(yīng)用效果優(yōu)化方面，千帆ModelBuilder通過(guò)準(zhǔn)確簡(jiǎn)練、邏輯詳盡的提示詞，以及提供模型精調(diào)全流程工具鏈，幫助企業(yè)快速實(shí)現(xiàn)效果調(diào)優(yōu)。為激發(fā)大模型推理效果，千帆ModelBuilder還預(yù)置了近300個(gè)行業(yè)場(chǎng)景的prompt模版以及模型精調(diào)樣板間，提供了多場(chǎng)景模型精調(diào)工具鏈，并通過(guò)模型蒸餾、數(shù)據(jù)飛輪等工具，幫助企業(yè)實(shí)現(xiàn)模型精調(diào)快速冷啟，持續(xù)提升模型及應(yīng)用效果。
針對(duì)應(yīng)用開(kāi)發(fā)，千帆AppBuilder為提供企業(yè)級(jí)大模型應(yīng)用開(kāi)發(fā)平臺(tái)，不僅滿足企業(yè)級(jí)Agent的開(kāi)發(fā)、企業(yè)級(jí)集成和安全部署，另外沉淀了工業(yè)、政務(wù)、能源等6大行業(yè)應(yīng)用開(kāi)發(fā)解決方案。通過(guò)千帆AppBuilder，用戶可以生成具有自主規(guī)劃能力的Agent，支持用戶自定義創(chuàng)建組件，并被Agent自動(dòng)編排調(diào)用。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
