近日，硅基流動創(chuàng)始人袁進輝在華為云生態(tài)大會上宣布，硅基流動聯(lián)合華為云基于 CloudMatrix 384 超節(jié)點昇騰云服務(wù)和高性能推理框架 SiliconLLM ，用大規(guī)模專家并行最佳實踐正式上線 DeepSeek-R1。
該服務(wù)在保證單用戶 20 TPS 水平前提下，單卡 Decode 吞吐突破 1920 Tokens/s，可比肩 H100 部署性能。同時，經(jīng)過主流測試集驗證及大規(guī)模線上盲測，在昇騰算力部署 DeepSeek-R1 的模型精度與 DeepSeek 官方保持一致。
其中，通過架構(gòu)的全面創(chuàng)新，基于新型高速總線架構(gòu)的 CloudMatrix 超節(jié)點集群在總算力、互聯(lián)帶寬、內(nèi)存帶寬上領(lǐng)先業(yè)界。
此前，硅基流動在大模型云服務(wù)平臺 SiliconCloud 首發(fā)推出了基于昇騰云的穩(wěn)定生產(chǎn)級 DeepSeek-V3 & R1 推理服務(wù)，并支持模型私有化集群部署，這次合作推動基于國產(chǎn)算力的 DeepSeek-R1 推理服務(wù)持續(xù)升級。
DeepSeek 風(fēng)暴席卷全球，特別是以其高效、低成本的 MoE 架構(gòu)為應(yīng)對大模型推理挑戰(zhàn)打開了局面。不過，如果沒有強大的 AI Infra 技術(shù)能力，要想部署好 DeepSeek 并非易事。
DeepSeek 使用了大規(guī)模專家并行(Expert Parallelism，大 EP 并行)的 MoE 模型架構(gòu)，若采用單機部署方案，最終的性能遠(yuǎn)不如 DeepSeek 官方公布的部署方案，且至少有數(shù)倍成本差距。更具挑戰(zhàn)的是，雖然 DeepSeek 公開了大 EP 并行方案，但技術(shù)難度較大，業(yè)內(nèi)還沒有其他團隊快速復(fù)現(xiàn)這一部署方法。
針對這些難題，硅基流動與華為云聯(lián)合攻關(guān)實現(xiàn)了技術(shù)突破。我們在 CloudMatrix 384 超節(jié)點昇騰云服務(wù)上部署 DeepSeek-R1 時采納了大規(guī)模專家并行方案，通過多專家負(fù)載均衡和極致通信優(yōu)化，實現(xiàn)高吞吐及更高性能，大幅提升了用戶體驗。同時，我們使用昇騰高性能算子庫，以及硅基流動推理加速框架 SiliconLLM 在模型、機制、算子上的協(xié)同優(yōu)化，實現(xiàn)在國產(chǎn)算力上，不損失模型精度的情況下， 獲得 DeepSeek-R1 推理效率與資源利用率的顯著提升。
硅基流動與華為云的合作不僅提供堅實的全國產(chǎn)軟硬件體系部署方案，讓 DeepSeek 推理服務(wù)更經(jīng)濟高效，也展現(xiàn)了 AI 生態(tài)合作的強大能量。硅基流動將繼續(xù)加深與華為云的聯(lián)合創(chuàng)新，共同提升產(chǎn)品體驗，加速模型在更多場景落地。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
