一個GPU需要多少個光模塊?

一個GPU需要多少個光模塊?

市場上對于光模塊與GPU數(shù)量的比例存在不同的版本，各個版本的數(shù)字并不一致，主要是因為不同組網(wǎng)架構(gòu)下所需的光模塊數(shù)量不一樣。實際使用的光模塊數(shù)量主要取決于以下幾個方面。

1、網(wǎng)卡型號

主要包括兩種類型的網(wǎng)卡，ConnectX-6（200Gb/s，主要配合A100使用）主要使用的光模塊有MMA1T00-HS（200G Infiniband HDR QSFP56 SR4 PAM4 850nm 100m）和ConnectX-7（400Gb/s，主要與H100配套使用）。

2、交換機型號

下一代ConnectX-8 800Gb/s交換機型號主要包括兩種類型的交換機，QM9700系列（32端口OSFP（2*400Gb/s），400Gb/s傳輸速率下共有64個通道，總計51.2 Tb/s吞吐率）和QM8700系列（40端口QSFP56，總共40個200Gb/s通道，總計16Tb/s吞吐率）。

3、單元數(shù)量（可擴展單元SU）

單元數(shù)量影響交換架構(gòu)的層次，單元數(shù)量較少時僅采用兩層架構(gòu)，單元數(shù)量較多時采用三層架構(gòu)。

H100 SuperPOD：每個單元由32個節(jié)點（DGX H100服務(wù)器）組成，最多支持4個單元組成集群，采用兩層交換架構(gòu)。

A100 SuperPOD：每個單元包含20個節(jié)點（DGX A100服務(wù)器），最多支持7個單元組成集群，超過5個單元需要三層交換架構(gòu)。

小結(jié)：

（1）A100+ConnectX6+QM8700三層網(wǎng)絡(luò)：1:6比例，均采用200G QSFP56光模塊

（2）A100+ConnectX6+QM9700二層網(wǎng)絡(luò)：1:0.75 800G OSFP光模塊+1:1 200G QSFP56光模塊

（3）H100+ConnectX7+QM9700二層網(wǎng)絡(luò)：1:1.5 800G OSFP光模塊+1:1 400G OSFP光模塊

（4）H100+ConnectX8（尚未發(fā)布）+QM9700三層網(wǎng)絡(luò)：1:6比例，均采用800G OSFP收發(fā)器

假設(shè)2023年H100+A100出貨量為30萬+90萬，將產(chǎn)生315萬200G QSP56+30萬400G OSFP+78.75萬800G OSFP需求，AI市場增量空間為13.8億美元。

假設(shè)2024年H100+A100出貨量為150萬+150萬，將產(chǎn)生75萬片200G QSFP56+75萬片400G OSFP+675萬片800G OSFP需求，AI市場增量空間為49.7億美元，約等于2021年數(shù)字直通光模塊市場規(guī)模。

下面是針對上述每種場景的詳細(xì)測量過程。

場景一：A100+ConnectX6+QM8700三層網(wǎng)絡(luò)。

A100共有8個計算接口，左側(cè)4個，右側(cè)4個（如下圖）。目前A100出貨主要搭配ConnectX6進行外部通信，接口速率為200Gb/s。

在第一層架構(gòu)中，每個節(jié)點有8個接口，每個節(jié)點連接8個葉型交換機，每20個節(jié)點組成一個單元（SU），因此第一層共需要8*SU葉子交換機、8*SU*20根線纜，以及2*8*SU*20個200G光模塊。

在第二層架構(gòu)中，由于無阻塞架構(gòu)，上行速率等于下行速率。第一層總單向傳輸速率為200G*線纜數(shù)量。由于第二層也采用單纜200G傳輸速率，因此第二層的線纜數(shù)量應(yīng)與第一層相同，需要8*SU*20線纜（Cable）和2*8*SU*20 200G收發(fā)器。所需的脊型交換機數(shù)量是電纜數(shù)量除以葉交換機數(shù)量，即（8*SU*20）/（8*SU）脊型交換機。但當(dāng)葉型交換機的數(shù)量不夠多時，葉型與脊型之間可以建立兩個以上的連接，以節(jié)省脊型交換機的數(shù)量（只要不超過40個接口的限制）。因此，當(dāng)單元數(shù)分別為1/2/4/5時，所需脊型交換機數(shù)量為4/10/20/20，所需光模塊數(shù)量分別為320/640/1280/1600。脊型交換機數(shù)量不會按相同比例增加，但光模塊數(shù)量會按相同比例增加。

當(dāng)單元數(shù)量達到7時，需要第三層架構(gòu)，由于是非阻塞架構(gòu)，因此第三層架構(gòu)所需的電纜數(shù)量與第二層的數(shù)量相同。

推薦配置SuperPOD：7臺單位進行組網(wǎng)，需要增加第三層架構(gòu)并增加核心交換機，各種不同數(shù)量的單位每層交換機數(shù)量、連接電纜數(shù)量如圖所示。

140臺服務(wù)器，共140*8=1120個A100，共56+56+28=140臺交換機（QM8790），1120+1120+1120=3360根線纜，3360*2=6720個200G QSFP56光模塊，之間的映射A100和200G QSFP56光模塊為1120/6720=1:6。

場景二：A100+ConnectX6+QM9700二層網(wǎng)絡(luò)

目前推薦配置中還沒有該方案，但未來越來越多的A100可能會選擇QM9700組網(wǎng)，這會減少光模塊的使用數(shù)量，但帶來800G OSFP光模塊需求。最大的區(qū)別在于，第一層連接由8根外部200G電纜轉(zhuǎn)換為QSFP轉(zhuǎn)OSFP接口，有2個和1對4。

第一層：對于7臺單元，140臺服務(wù)器有140*8=1120個接口，總共1120/4=280根1-tow-4線纜對外連接，得到280個800G OSFP和1120個200G OSFP56光口模塊要求?？偣残枰?2個QM9700交換機。

第二層：僅800G連接，需要280*2=560個800G OSFP收發(fā)器，需要9臺QM9700交換機。

因此，140臺服務(wù)器和1120臺A100需要12+9=21臺交換機、560+280=840個800G OSFP光模塊和1120個200G QSFP56光模塊。

A100與800G OSFP光模塊的映射為1120:840=1:0.75，A100與200G QSFP56光模塊的映射為1:1

場景三：H100+ConnectX7+QM9700二層網(wǎng)絡(luò)

H100設(shè)計的特別之處在于，雖然網(wǎng)卡是8個GPU，帶有8個400G網(wǎng)卡，但接口合并為4個800G接口，這將帶來大量800G OSFP光模塊需求。

在第一層，根據(jù)推薦配置，建議在服務(wù)器接口連接1個【2*400G】800G OSFP光模塊：MMA4Z00-NS(800Gb/s Twin-port OSFP 2x400G SR8 PAM4 850nm 100m DOM Dual MPO-12 MMF）或MMS4X00-NM（800Gb/s雙端口OSFP 2x400G PAM4 1310nm 500m DOM雙MTP/MPO-12 MMF），通過雙端口。），兩條光纖電纜(MPO)通過雙端口連接并插入兩個交換機中的每一個。

那么對于第一層而言，一個單元包含32個服務(wù)器，一個服務(wù)器連接2*4=8個交換機，SuperPOD包括4個單元，第一層總共需要連接4*8=32個葉子交換機。

因此，建議需要預(yù)留一個節(jié)點用于管理目的（UFM），由于對光模塊的使用影響有限，只按照4臺128臺服務(wù)器簡略計算。

第一層共4*128=512個800G OSFP光模塊，2*4*128=1024個400G OSFP光模塊：MMA4Z00-NS400（400G OSFP SR4 PAM4 850nm 30m on OM3/50m on OM4 MTP/MPO-12)或NVIDIA MMS4X00-NS400(400G OSFP DR4 PAM4 1310nm MTP/MPO-12 500m)。

第二層交換機之間采用800G光模塊直連，向下連接一臺葉型交換機，單向速率為32*400G。為了保證上下行速率相同，因此上行連接需要16*800G單向速率，需要16臺脊型交換機，總共4*8*16*2=1024個800G光模塊。

因此，在該架構(gòu)下，兩層總共需要512+1024=1536個800G OSFP光模塊和1024個400G OSFP光模塊，總共4*32*8=1024個H100。因此，GPU與800G OSFP光模塊的映射關(guān)系為1024/1536→1:1.5，GPU與400G OSFP光模塊的映射關(guān)系為1024/1024→1:1。

場景四：H100+ConnectX8（尚未發(fā)布）+QM9700三層網(wǎng)絡(luò)

假設(shè)H100升級到800G網(wǎng)卡后，外部接口應(yīng)該從4個OSFP接口升級到8個OSFP接口。每層之間的連接均采用800G連接，整個網(wǎng)絡(luò)架構(gòu)與第一種場景類似，只是將200G光模塊更換為800G光模塊。因此，該架構(gòu)中GPU與光模塊的比例也是1:6。

綜上，將四種場景整理成下表。

假設(shè)2023年H100+A100出貨量為30萬+90萬，將產(chǎn)生315萬片200G+30萬片400G+78.75萬片800G OSFP需求。

假設(shè)2024年H100+A100出貨量為150萬+150萬，將產(chǎn)生75萬片200G+75萬片400G+675萬片800G OSFP需求。

*A100一半使用200G交換機，一半使用400G交換機。

**H100一半使用400G交換機，一半使用800G交換機。

上述對A100 H100數(shù)量的估計僅是假設(shè)，并不代表未來的預(yù)期。

按照2023年平均價格1美元/GB、2024年0.85美元/GB簡單計算，預(yù)計AI將為光模塊帶來13.8/49.7億美元的AI增量市場空間。

相關(guān)推薦：

如何選擇光模塊?

什么是400G光模塊？

800G光模塊有哪些分類

光模塊/AOC/DAC技術(shù)門檻低？

千兆光模塊和萬兆光模塊？它們有什么區(qū)別？

CIBIS峰會

由千家網(wǎng)主辦的2023年第24屆CIBIS筑智能化峰會即將正式拉開帷幕，本屆峰會主題為“智慧連接，‘筑’就未來”， 將攜手全球知名智能化品牌及業(yè)內(nèi)專家，共同探討物聯(lián)網(wǎng)、AI、云計算、大數(shù)據(jù)、IoT、智慧建筑、智能家居、智慧安防等熱點話題與最新技術(shù)應(yīng)用，分享如何利用更知慧、更高效、更安全的智慧連接技術(shù)，“筑”就未來美好智慧生活。歡迎建筑智能化行業(yè)同仁報名參會，分享交流！

報名方式

成都站（10月24日）：https://www.huodongxing.com/event/6715336669000

西安站（10月26日）：https://www.huodongxing.com/event/3715335961700

長沙站（11月09日）：https://www.huodongxing.com/event/7715337579900

上海站（11月21日）：https://www.huodongxing.com/event/9715337959000

北京站（12月23日）：https://www.huodongxing.com/event/3715338464800

廣州站（12月07日）：https://www.huodongxing.com/event/6715338767700

更多2023年CIBIS峰會信息，詳見峰會官網(wǎng)：http://summit.qianjia.com/

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。