昇騰推出的大規(guī)模專家并行策略，其核心思想是通過(guò)跨節(jié)點(diǎn)的專家分片部署，將龐大的專家模型（如千億參數(shù)的MoE模型）拆解為多個(gè)子專家模塊，分別分配到不同計(jì)算節(jié)點(diǎn)上獨(dú)立執(zhí)行。
本期，將為大家重點(diǎn)介紹昇騰大規(guī)模專家并行針對(duì)通信時(shí)延的優(yōu)化：通過(guò)雙流并行技術(shù)創(chuàng)新降低通信開銷。
MoE場(chǎng)景通信時(shí)延瓶頸與優(yōu)化路徑
大規(guī)模專家并行策略對(duì)跨節(jié)點(diǎn)通信時(shí)延提出了更高的要求，這一挑戰(zhàn)在AI集群中具有普遍性：首先，隨著模型參數(shù)規(guī)模的指數(shù)增長(zhǎng)，傳統(tǒng)集合通信模式（如AllToAll）面臨嚴(yán)重的帶寬競(jìng)爭(zhēng)問(wèn)題，特別是在千卡級(jí)以上集群中，通信延遲會(huì)隨節(jié)點(diǎn)數(shù)量增加而顯著上升；其次，異構(gòu)計(jì)算環(huán)境下的非對(duì)稱資源配置（如計(jì)算卡數(shù)量不等、內(nèi)存帶寬差異）導(dǎo)致通信負(fù)載難以均衡，產(chǎn)生“長(zhǎng)尾效應(yīng)”；再者，現(xiàn)代MoE架構(gòu)特有的動(dòng)態(tài)專家選擇機(jī)制，使得通信模式從靜態(tài)變?yōu)閯?dòng)態(tài)，進(jìn)一步加劇了傳統(tǒng)通信方案的適配難度。
昇騰MoE雙流并行優(yōu)化
01
Prefill micro-batch雙流并行：
計(jì)算和通信相互掩蓋，性能提升20%+
LLM大模型在推理的Prefill階段，由于輸入序列長(zhǎng)度（SeqLen）較長(zhǎng)，其性能主要受限于計(jì)算耗時(shí)——隨著BatchSize增加，推理計(jì)算耗時(shí)呈線性增長(zhǎng)。同時(shí)，Prefill階段的通信數(shù)據(jù)量為BatchSize * SeqLen * HiddenSize，隨著BatchSize和序列長(zhǎng)度的增加，通信數(shù)據(jù)量也顯著增加，導(dǎo)致通信耗時(shí)占總耗時(shí)的20%-30%。
對(duì)此，昇騰CANN實(shí)現(xiàn)了大幅優(yōu)化，將Prefill的Batch拆分為多個(gè)更小的micro batch。如下圖所示，通過(guò)將micro batch之間的計(jì)算和通信過(guò)程進(jìn)行重疊，在計(jì)算耗時(shí)較長(zhǎng)的情況下，將通信耗時(shí)完全掩蓋，實(shí)現(xiàn)20%+的性能收益。
圖1 Prefill micro-batch雙流并行
02
Weight預(yù)取雙流并行：
訪存、通信并行，性能提升10%+
在推理的Decode階段，權(quán)重（Weight）加載耗時(shí)較長(zhǎng)，主要原因是Weight需要頻繁訪問(wèn)高帶寬內(nèi)存（HBM），導(dǎo)致緩存帶寬開銷較大。
針對(duì)該問(wèn)題，利用昇騰910系列硬件L2 Cache層的大容量、高帶寬特性，預(yù)取Weight并存儲(chǔ)到L2 Cache中，可以實(shí)現(xiàn)通信與Weight加載并行，從而加速后續(xù)的Cube運(yùn)算，顯著降低Weight加載時(shí)間，同時(shí)提升Matmul算子的性能，整網(wǎng)性能提升10%+。
圖2 Weight預(yù)取雙流并行
【使用方法】
以上優(yōu)化特性已在昇騰CANN最新版本中實(shí)現(xiàn)，歡迎大家配套MindIE使用、體驗(yàn)。CANN包安裝過(guò)程可參考社區(qū)文檔：http://www.picoinsstore.com/uploadfile/pic2020/2025/0418/20250418160004202G.html>
【昇騰未來(lái)演進(jìn)思考】
昇騰將繼續(xù)探索MoE模型的通信優(yōu)化。我們將充分利用昇騰硬件上多核并發(fā)能力，加速通信任務(wù)的下發(fā)和并發(fā)傳輸；同時(shí)，探索通信算子與其他計(jì)算算子更細(xì)粒度的通算融合，減少或掩蓋啟動(dòng)和傳輸?shù)拈_銷，為更多的客戶、伙伴提供更強(qiáng)大的技術(shù)能力。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
