打破AI壁壘，引領(lǐng)行業(yè)新風向——摩爾線程開源兩大AI框架
隨著科技的飛速發(fā)展，人工智能（AI）已成為推動各行各業(yè)創(chuàng)新的重要驅(qū)動力。摩爾線程，一家致力于構(gòu)建全球領(lǐng)先的圖形計算處理器的公司，近日宣布正式開源其兩大AI框架——MT-MegatronLM和MT-TransformerEngine。這兩大框架的開源，無疑將打破AI領(lǐng)域的壁壘，引領(lǐng)行業(yè)新風向。
MT-MegatronLM，這是一項面向全功能GPU的開源混合并行訓(xùn)練框架。它支持dense模型、多模態(tài)模型及MoE（混合專家）模型的高效訓(xùn)練。這項框架的開源，不僅意味著開發(fā)者們可以更便捷地利用GPU進行深度學習訓(xùn)練，同時也為各種模型的研發(fā)提供了強大的支持。
而MT-TransformerEngine，主要用于Transformer模型的訓(xùn)練與推理優(yōu)化。通過算子融合、并行加速策略等技術(shù)，釋放摩爾線程全功能GPU高密度計算的潛力和memory bound算子效率。這一框架的開源，無疑將推動Transformer模型的研究和應(yīng)用。
這兩大框架的技術(shù)突破體現(xiàn)在硬件適配與算法創(chuàng)新的深度協(xié)同。其中，混合并行訓(xùn)練能夠支持dense、多模態(tài)及MoE模型的混合并行訓(xùn)練，可靈活應(yīng)對不同模型架構(gòu)的復(fù)雜運算場景；FP8混合訓(xùn)練策略結(jié)合摩爾線程GPU原生支持的FP8混合精度訓(xùn)練策略，能夠有效提升訓(xùn)練效率；高性能算子庫通過與muDNN與通信庫MCCL的深度集成，系統(tǒng)性優(yōu)化了計算密集型任務(wù)與多卡協(xié)同的通信開銷；同時結(jié)合摩爾線程開源Simumax庫，可自動進行并行策略搜索，并針對不同模型和加速環(huán)境spec最大化并行訓(xùn)練性能。
在實際應(yīng)用中，這兩大框架也取得了顯著的效果。例如，在全功能GPU集群上，利用FP8混合精度加速技術(shù)，可以在loss幾乎無損的情況下MFU達到90%以上，提升了訓(xùn)練效率；摩爾線程已深度集成并開源對DeepSeek并行算法DualPipe的高效支持，成功實現(xiàn)DeepSeek訓(xùn)練流程的完整復(fù)現(xiàn)；通過多種Transformer算子融合技術(shù)，顯著提升了內(nèi)存帶寬利用率，進一步釋放了國產(chǎn)GPU的硬件潛力。
摩爾線程官方表示，將持續(xù)優(yōu)化MT-MegatronLM與MT-TransformerEngine框架，并引入一系列新功能。其中包括Dual Pipe/ZeroBubble并行策略，以進一步降低氣泡率，提升并行訓(xùn)練效率；多種FP8優(yōu)化策略，以提高訓(xùn)練的性能和穩(wěn)定性；異步checkpoint策略，以提高訓(xùn)練過程中的容錯能力和效率；優(yōu)化后的重計算策略，減少計算和顯存開銷，提高訓(xùn)練速度；以及獨創(chuàng)的容錯訓(xùn)練算法，增強訓(xùn)練過程中的容錯能力。此外，還計劃進一步集成摩爾線程的FlashMLA和DeepGemm庫，以進一步釋放摩爾線程GPU的算力和FP8計算能力，提升計算性能和效率。
總的來說，摩爾線程開源兩大AI框架，不僅打破了AI領(lǐng)域的壁壘，也展現(xiàn)了其在AI領(lǐng)域的強大實力和技術(shù)創(chuàng)新。我們期待在未來的發(fā)展中，摩爾線程能夠繼續(xù)發(fā)揮其技術(shù)優(yōu)勢，引領(lǐng)行業(yè)新風向，為全球的開發(fā)者們提供更強大、更便捷的AI工具和服務(wù)。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
