英特爾發(fā)布全新Gaudi2深度學(xué)習(xí)加速器 加速大規(guī)模深度學(xué)習(xí)訓(xùn)練與推理

7月11日消息，今日英特爾AI產(chǎn)品戰(zhàn)略暨Gaudi2新品發(fā)布會(huì)在京舉行。會(huì)上，英特爾正式于中國(guó)市場(chǎng)推出第二代Gaudi深度學(xué)習(xí)加速器——Habana? Gaudi?2。作為英特爾從云到端產(chǎn)品組合的重要組成，Gaudi2致力于以領(lǐng)先的性價(jià)比優(yōu)勢(shì)，加速AI訓(xùn)練及推理，為中國(guó)用戶提供更高的深度學(xué)習(xí)性能和效率，從而成為大規(guī)模部署AI的更優(yōu)解。

該Gaudi2深度學(xué)習(xí)加速器暨Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構(gòu)為基礎(chǔ)，以多方位性能與能效比提升，加速高性能大語(yǔ)言模型運(yùn)行。該加速器具備：

● 24個(gè)可編程Tensor處理器核心（TPCs）

● 21個(gè)Gbps（RoCEv2）以太網(wǎng)接口

● 96GB HBM2E內(nèi)存容量

● 2.4TB/秒的總內(nèi)存帶寬

● 48MB片上SRAM

● 集成多媒體處理引擎

Gaudi2加速器的出色性能在6月公布的MLCommons? MLPerf?基準(zhǔn)測(cè)試中得到了充分認(rèn)證，其在GPT-3模型、計(jì)算機(jī)視覺模型ResNet-50（使用8個(gè)加速器）、Unet3D（使用8個(gè)加速器），以及自然語(yǔ)言處理模型BERT（使用8個(gè)和64個(gè)加速器）上均取得了優(yōu)異的訓(xùn)練結(jié)果。與市場(chǎng)上其他面向大規(guī)模生成式AI和大語(yǔ)言模型的產(chǎn)品相比，Gaudi2擁有卓越的性能與領(lǐng)先的性價(jià)比優(yōu)勢(shì)，能夠幫助用戶提升運(yùn)營(yíng)效率的同時(shí)，降低運(yùn)營(yíng)成本。

此外，Gaudi2可為大規(guī)模的多模態(tài)和語(yǔ)言模型提供出色的推理性能。在最近的Hugging Face評(píng)估中，其在大規(guī)模推理方面的表現(xiàn)，包括在運(yùn)行Stable Diffusion（另一個(gè)用于從文本生成圖像的最先進(jìn)生成式AI模型之一）、70億以及1760億參數(shù)BLOOMz模型時(shí)，在行業(yè)內(nèi)保持領(lǐng)先。

Gaudi2深度學(xué)習(xí)加速器的架構(gòu)旨在高效擴(kuò)展，以滿足大規(guī)模語(yǔ)言模型及生成式AI模型的需求。其每張芯片集成了21個(gè)專用于內(nèi)部互聯(lián)的100Gbps（RoCEv2 RDMA）以太網(wǎng)接口，從而實(shí)現(xiàn)低延遲服務(wù)器內(nèi)擴(kuò)展。

在Stable Diffusion訓(xùn)練上，Gaudi2展示了從1張卡至64張卡近線性99%的擴(kuò)展性。此外，MLCommons剛剛公布的MLPerf訓(xùn)練3.0結(jié)果，亦驗(yàn)證了Gaudi2處理器在1750億參數(shù)的GPT-3模型上，從256個(gè)加速器到384個(gè)加速器可實(shí)現(xiàn)令人印象深刻的接近線性的95%擴(kuò)展效果。

伴隨日益增長(zhǎng)的生成式AI及大語(yǔ)言模型需求，英特爾亦致力于打造領(lǐng)先、成熟的軟件支持，充分釋放Gaudi2深度學(xué)習(xí)加速器性能。

為支持客戶輕松構(gòu)建模型，或?qū)?dāng)前基于GPU的模型業(yè)務(wù)和系統(tǒng)遷移到基于全新Gaudi2服務(wù)器，并幫助保護(hù)軟件開發(fā)投入，SynapseAI?軟件套件針對(duì)Gaudi平臺(tái)深度學(xué)習(xí)業(yè)務(wù)進(jìn)行了優(yōu)化，旨在與廣泛的軟件生態(tài)系統(tǒng)一起，幫助簡(jiǎn)化模型的開發(fā)和遷移。SynapseAI集成了對(duì)TensorFlow和PyTorch框架的支持，并提供眾多流行的計(jì)算機(jī)視覺和自然語(yǔ)言參考模型，能夠滿足深度學(xué)習(xí)開發(fā)者的多樣化需求。

目前，英特爾正與浪潮信息合作，打造并發(fā)售基于Gaudi2深度學(xué)習(xí)加速器的浪潮信息AI服務(wù)器NF5698G7。該服務(wù)器集成了8顆Gaudi2加速卡HL-225B，還包含雙路第四代英特爾至強(qiáng)可擴(kuò)展處理器。

多年來(lái)，借助強(qiáng)大的AI軟硬件基礎(chǔ)，英特爾一直致力于為AI領(lǐng)域的各類工作負(fù)載提供業(yè)界領(lǐng)先的卓越性能，并通過(guò)開放的生態(tài)、豐富多樣的產(chǎn)品選擇不斷降低AI部署的門檻，并為中國(guó)的AI發(fā)展提供堅(jiān)定支持。

本次發(fā)布會(huì)上，百度、浪潮信息等生態(tài)伙伴分別分享了其基于英特爾軟硬件產(chǎn)品組合的多樣化智能業(yè)務(wù)進(jìn)展。百度智能云服務(wù)器高級(jí)經(jīng)理何永占表示，集成英特爾?AMX加速引擎的第四代英特爾?至強(qiáng)?可擴(kuò)展處理器為ERNIE-Tiny模型帶來(lái)了多倍的性能優(yōu)化，百度將持續(xù)構(gòu)建領(lǐng)先的AI全棧能力和全面的開放生態(tài)，并期待與英特爾在未來(lái)的AI領(lǐng)域展開更為廣泛、深入的合作。

浪潮信息高級(jí)產(chǎn)品經(jīng)理王磊強(qiáng)調(diào)，NF5698G7是專為面向生成式AI市場(chǎng)創(chuàng)新開發(fā)的新一代AI服務(wù)器，支持8顆OAM高速互聯(lián)的Gaudi2加速器，具備高性能、高擴(kuò)展、高能效和開放生態(tài)等優(yōu)點(diǎn)，將為AI客戶提供強(qiáng)大的大模型訓(xùn)練和推理能力。未來(lái)，浪潮信息將繼續(xù)攜手英特爾，為行業(yè)打造創(chuàng)新、領(lǐng)先的產(chǎn)品方案。

此外，多家本土生態(tài)伙伴亦表明了與英特爾在當(dāng)下及未來(lái)產(chǎn)品合作上的堅(jiān)定立場(chǎng)與長(zhǎng)遠(yuǎn)展望。新華三集團(tuán)計(jì)算存儲(chǔ)產(chǎn)品線副總裁劉宏程指出，新華三智慧計(jì)算秉持內(nèi)生智能的技術(shù)理念，基于硬件使能、前瞻技術(shù)、綠色低碳等全方位能力，助力AI產(chǎn)業(yè)的高速發(fā)展。基于英特爾Gaudi2 AI加速器，新華三正與英特爾緊密合作，開發(fā)適合大模型訓(xùn)練和推理的高性能AI服務(wù)器，推動(dòng)智能算力的普惠創(chuàng)新。

與此同時(shí)，超聚變數(shù)字技術(shù)有限公司算力基礎(chǔ)設(shè)施領(lǐng)域總裁唐啟明表示，非常榮幸見證英特爾Gaudi2的發(fā)布。作為英特爾的長(zhǎng)期戰(zhàn)略合作伙伴，超聚變將一如既往地?cái)y手英特爾，共同推出基于Gaudi2的全新產(chǎn)品與解決方案，助力企業(yè)的AI場(chǎng)景成熟商用和規(guī)模落地。

未來(lái)，英特爾將持續(xù)引領(lǐng)產(chǎn)品技術(shù)發(fā)展，進(jìn)一步加速大規(guī)模深度學(xué)習(xí)部署，助力中國(guó)本地AI市場(chǎng)發(fā)展。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。