智能時(shí)代，數(shù)據(jù)成為重要生產(chǎn)要素!

原標(biāo)題：智能時(shí)代，數(shù)據(jù)成為重要生產(chǎn)要素!

隨著智能時(shí)代的到來(lái)，數(shù)據(jù)成為重要的生產(chǎn)要素。人工智能、云計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)等新技術(shù)推動(dòng)包括工業(yè)、農(nóng)業(yè)、服務(wù)業(yè)等許多行業(yè)、產(chǎn)業(yè)進(jìn)行大規(guī)模的數(shù)字化變革，逐漸形成以數(shù)據(jù)+智能為中心的新型業(yè)務(wù)，推動(dòng)服務(wù)化延伸、網(wǎng)絡(luò)化協(xié)同、智能化生產(chǎn)和個(gè)性化定制等新的變化。

日前，華為智能數(shù)據(jù)與存儲(chǔ)領(lǐng)域副總裁張福鵬在#∑co時(shí)間#活動(dòng)中分享了題為“站在未來(lái)看現(xiàn)在：智能時(shí)代數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)談”的演講，帶大家走進(jìn)了精彩的存儲(chǔ)未來(lái)世界。

智能時(shí)代，數(shù)據(jù)存儲(chǔ)正面臨四大挑戰(zhàn)

挑戰(zhàn)1：生產(chǎn)交易類數(shù)據(jù)高并發(fā)、低延時(shí)、高可靠

據(jù)張福鵬介紹，隨著5G帶來(lái)的大帶寬、低時(shí)延，對(duì)數(shù)據(jù)處理速度、頻度、可靠性提出了新的要求；以金融交易為例，我們每天用到的微信、支付寶等小額支付，使得交易量增長(zhǎng)10倍以上，而且在線購(gòu)物也不再受門店?duì)I業(yè)時(shí)間的限制，必須做到7x24小時(shí)不間斷服務(wù)。這些都對(duì)數(shù)據(jù)交易的時(shí)延、可靠性等提出了前所未有的挑戰(zhàn)。

挑戰(zhàn)2：海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，長(zhǎng)期保存與價(jià)值挖掘

類似今日頭條每天50PB的數(shù)據(jù)，絕大多數(shù)都是非結(jié)構(gòu)化數(shù)據(jù)。窄帶和寬帶物聯(lián)網(wǎng)、4K/8K視頻、自動(dòng)駕駛等多數(shù)據(jù)源、多模數(shù)據(jù)的大量采集、長(zhǎng)期保存、冷數(shù)據(jù)變溫?cái)?shù)據(jù)等帶來(lái)了新的海量數(shù)據(jù)存儲(chǔ)需求。

挑戰(zhàn)3：數(shù)據(jù)無(wú)縫流動(dòng)，融合高效的處理與分析

數(shù)據(jù)要長(zhǎng)期保存，更要無(wú)縫流動(dòng)才能產(chǎn)生更多的價(jià)值。從實(shí)際業(yè)務(wù)來(lái)看，在距離數(shù)據(jù)產(chǎn)生最近的邊緣場(chǎng)景，比如攝像頭，IoT，傳感器等，數(shù)據(jù)如何存儲(chǔ)和高速處理，如何提供邊、中心、云的統(tǒng)一數(shù)據(jù)保護(hù)和管理，既可以讓數(shù)據(jù)高速流動(dòng)，又能做到每比特成本最優(yōu)，價(jià)值最大，也是我們企業(yè)全場(chǎng)景業(yè)務(wù)面臨的新挑戰(zhàn)。

挑戰(zhàn)4：數(shù)據(jù)全生命周期管理，場(chǎng)景化、智能化、降本增效

數(shù)據(jù)全生命周期管理，從數(shù)據(jù)產(chǎn)生的源頭，實(shí)現(xiàn)邊云協(xié)同疊加AI的能力。業(yè)務(wù)希望能充分利用云上數(shù)據(jù)量大的優(yōu)勢(shì)形成基線，同時(shí)在本地增量訓(xùn)練。結(jié)合具體業(yè)務(wù)提供個(gè)性化調(diào)優(yōu)，實(shí)現(xiàn)對(duì)數(shù)據(jù)生產(chǎn)、分析、備份、歸檔的全生命周期的智能化管理。這也是顛覆傳統(tǒng)IT架構(gòu)，從數(shù)據(jù)視角打破邊界，構(gòu)建數(shù)據(jù)基礎(chǔ)設(shè)施的一個(gè)重要理念。

預(yù)見(jiàn)|智能時(shí)代存儲(chǔ)

智能時(shí)代，存儲(chǔ)應(yīng)該具有哪些特征才能更好的應(yīng)對(duì)新技術(shù)、新業(yè)務(wù)帶來(lái)的新挑戰(zhàn)呢？張福鵬表示，智能時(shí)代數(shù)據(jù)存儲(chǔ)要滿足三個(gè)主要特征，即智能、融合、高效。

智能

智能時(shí)代的數(shù)據(jù)存儲(chǔ)要充分利用AI的能力實(shí)現(xiàn)Storage for AI和AI in Storage，進(jìn)而承載數(shù)據(jù)全生命周期智能管理。

華為OceanStor在邊緣存儲(chǔ)端加入了AI芯片，實(shí)現(xiàn)個(gè)性化AI，存儲(chǔ)自身基于AI芯片對(duì)存儲(chǔ)數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，實(shí)現(xiàn)存儲(chǔ)設(shè)備的獨(dú)特性能優(yōu)化。

同時(shí)將邊緣存儲(chǔ)的數(shù)據(jù)采集上傳云端，數(shù)據(jù)在云端經(jīng)過(guò)訓(xùn)練和建模后，形成通用模型發(fā)布給邊緣存儲(chǔ)，存儲(chǔ)AI芯片再基于通用模型進(jìn)行強(qiáng)化學(xué)習(xí)，與自身數(shù)據(jù)特征結(jié)合，培訓(xùn)建模形成個(gè)性化模型，再來(lái)指導(dǎo)存儲(chǔ)實(shí)現(xiàn)場(chǎng)景預(yù)測(cè)、故障推理。整體形成一個(gè)端云協(xié)同AI芯片加速的自驅(qū)動(dòng)。

為了應(yīng)對(duì)萬(wàn)物互聯(lián)智能時(shí)代數(shù)據(jù)存儲(chǔ)的易管理、易運(yùn)維需求，華為還提供了基于AI使能的自動(dòng)化數(shù)據(jù)管理系統(tǒng)，幫助用戶實(shí)現(xiàn)數(shù)據(jù)自動(dòng)化與智能管理與運(yùn)維。而在全生命周期數(shù)據(jù)管理方面，華為則將存儲(chǔ)系統(tǒng)的智能管理分為三層，即設(shè)備層、數(shù)據(jù)中心層、和云上云下，通過(guò)三層聯(lián)動(dòng)，實(shí)現(xiàn)高效的運(yùn)維運(yùn)營(yíng)。

數(shù)據(jù)融合

除了智能化管理，面向多模數(shù)據(jù)、多級(jí)介質(zhì)、邊、中心、云物理位置、多種協(xié)議帶來(lái)的數(shù)據(jù)孤島，融合是華為持續(xù)追求的。

智能時(shí)代存儲(chǔ)如何打通數(shù)據(jù)孤島，實(shí)現(xiàn)從端到云的融合互通能力，華為認(rèn)為有幾個(gè)地方需要重點(diǎn)考慮：異構(gòu)融合、多服務(wù)融合、分級(jí)歸檔融合、生產(chǎn)分析融合、端-云融合。

當(dāng)然，面向?qū)嶋H的業(yè)務(wù)場(chǎng)景，還需要考慮包括數(shù)據(jù)庫(kù)與存儲(chǔ)融合、萬(wàn)核級(jí)調(diào)度等，這些都是華為持續(xù)要構(gòu)建的存儲(chǔ)能力，讓數(shù)據(jù)存得下、流得動(dòng)、用得好。

極致可靠

智能時(shí)代存儲(chǔ)三大特征，除了智能、融合這兩個(gè)非常重要的特征之外，面向?qū)嶋H業(yè)務(wù)需求，還需要高效的數(shù)據(jù)存儲(chǔ)與管理。這里面可分解為極致可靠、極致容量和極致性能三個(gè)方面來(lái)分析。

在高可靠性領(lǐng)域，不僅僅是在架構(gòu)層面，在組件（硬盤）、系統(tǒng)（RAID）、解決方案（雙活）層面同時(shí)要有大量的創(chuàng)新。

硬盤的可靠性是存儲(chǔ)系統(tǒng)的基礎(chǔ)，華為在盤級(jí)可靠性上做了大量的研究，并把結(jié)果應(yīng)用到華為自研的SSD上，比如擦寫次數(shù)是SSD盤片壽命的主要因素，華為在硬盤上采用了SSD全局磨損均衡&全局反磨損均衡的專利技術(shù)，來(lái)提升SSD壽命。

在架構(gòu)可靠方面，智能時(shí)代存儲(chǔ)架構(gòu)也需要考慮通過(guò)前端共享互聯(lián)、控制器全互聯(lián)、后端共享互聯(lián)，真正意義上實(shí)現(xiàn)：全局互聯(lián)、全局負(fù)載均衡，做到更可靠更均衡。而目前華為存儲(chǔ)的架構(gòu)可靠性已經(jīng)領(lǐng)先于業(yè)界同類產(chǎn)品。

在系統(tǒng)可靠方面，隨著趨勢(shì)的發(fā)展，大盤時(shí)代來(lái)臨，硬件+算法才能構(gòu)筑系統(tǒng)級(jí)的高可靠能力。華為RAID-TP通過(guò)創(chuàng)新的數(shù)據(jù)校驗(yàn)算法，可以實(shí)現(xiàn)系統(tǒng)內(nèi)3個(gè)盤同時(shí)失效，業(yè)務(wù)不受影響。

在方案可靠方面，要實(shí)現(xiàn)免網(wǎng)關(guān)雙活的極致可靠，站點(diǎn)間要求實(shí)現(xiàn)負(fù)載均衡，RPO=0 & RTO≈0。此外，專屬硬件設(shè)備可以做到存儲(chǔ)互通，在3DC更高級(jí)別可靠性上可以實(shí)現(xiàn)靈活組網(wǎng)，同時(shí)降低容災(zāi)系統(tǒng)建設(shè)成本。

在云級(jí)可靠方面，在生產(chǎn)中心方案級(jí)可靠的基礎(chǔ)上，通過(guò)存儲(chǔ)系統(tǒng)的容災(zāi)特性，如秒級(jí)快照、備份、統(tǒng)一管理等，實(shí)現(xiàn)災(zāi)備中心，以及云上中心的融合數(shù)據(jù)管理，做到中心間分鐘級(jí)的可靠性，和云上云下小時(shí)級(jí)的災(zāi)備與恢復(fù)。

極致容量

面對(duì)海量數(shù)據(jù)爆炸式增長(zhǎng)，新業(yè)務(wù)對(duì)數(shù)據(jù)存儲(chǔ)和管理不但要求持久化、數(shù)據(jù)不丟失，更要考慮極致的容量和性價(jià)比。

面向全閃存的時(shí)代，存儲(chǔ)具備了智能芯片，彈性EC算法提出了EC聚合方案，多個(gè)數(shù)據(jù)塊可以在一個(gè)EC分條上進(jìn)行聚合，以獲得性能和EC利用率的雙重保證。通過(guò)彈性EC技術(shù)，可以將EC比例提升到22+2，磁盤利用率達(dá)到91.6%，并且，在相同的硬件條件下，其性能可與傳統(tǒng)三副本性能持平，讓存儲(chǔ)利用率和可靠性提升有商用價(jià)值，支撐企業(yè)在云時(shí)代轉(zhuǎn)型走得更遠(yuǎn)。

在計(jì)算存儲(chǔ)分離方面，華為提供基于原生HDFS協(xié)議的分布式存儲(chǔ)，不但簡(jiǎn)化了大數(shù)據(jù)海量數(shù)據(jù)存儲(chǔ)的配置和管理，同時(shí)可以使能計(jì)算與存儲(chǔ)按需擴(kuò)容，實(shí)現(xiàn)價(jià)值最大化。

極致性能

華為認(rèn)為，對(duì)于智能時(shí)代的存儲(chǔ)，要充分利用芯片+算法+架構(gòu)來(lái)全面提升性能、降低延時(shí)，為業(yè)務(wù)帶來(lái)新的價(jià)值。

為了實(shí)現(xiàn)端到端關(guān)鍵路徑加速，從傳、算、智、管、存上引入關(guān)鍵芯片。同時(shí)在算法方面，華為存儲(chǔ)以創(chuàng)新的Flashlink盤控配合算法，能夠?qū)崿F(xiàn)控制器、硬盤框和SSD盤的聯(lián)動(dòng)。

而為了支持?jǐn)?shù)據(jù)中心的網(wǎng)絡(luò)存儲(chǔ)，華為通過(guò)NVMeover Fabric可以實(shí)現(xiàn)NVMe標(biāo)準(zhǔn)在多種網(wǎng)絡(luò)上的擴(kuò)展，達(dá)到降低存儲(chǔ)網(wǎng)絡(luò)協(xié)議棧處理開(kāi)銷并提供高并發(fā)低延時(shí)應(yīng)用，適應(yīng)SSD介質(zhì)驅(qū)動(dòng)的存儲(chǔ)架構(gòu)演進(jìn)。

同時(shí)，為了在前端數(shù)據(jù)傳輸階段，加速NVMe協(xié)議傳輸效率，華為存儲(chǔ)還設(shè)計(jì)了新的DTOE智能網(wǎng)卡。上一代使用的TOE網(wǎng)卡，只是較傳統(tǒng)網(wǎng)卡，實(shí)現(xiàn)了部分?jǐn)?shù)據(jù)傳輸卸載處理，依然存在內(nèi)核中斷產(chǎn)生的高延遲開(kāi)銷。

華為OceanStor：智能+硬件+算法，打造智能時(shí)代存儲(chǔ)新架構(gòu)

華為OceanStor面向智能時(shí)代存儲(chǔ)打造了基于“智能+硬件+算法”的創(chuàng)新架構(gòu)，基于Memory Fabric打造以內(nèi)存/SCM為中心的極致性能層，基于ALL IP的全閃存極致成本和高性能的容量層，提供數(shù)據(jù)存儲(chǔ)的智能分層管理。

同時(shí)面向CPU / NPU/GPU基于創(chuàng)新算法和高速互聯(lián)協(xié)議提供萬(wàn)核級(jí)計(jì)算資源池化，智能調(diào)度；面向業(yè)務(wù)提供基于容器的異構(gòu)微服務(wù)化，打破內(nèi)存性能墻、算力墻、協(xié)議墻等邊界；

還基于數(shù)據(jù)全生命周期的智能管理系統(tǒng)，為萬(wàn)物互聯(lián)的智能時(shí)代持續(xù)提供符合時(shí)代要求的創(chuàng)新存儲(chǔ)產(chǎn)品。

談到2020年華為在存儲(chǔ)領(lǐng)域的目標(biāo)時(shí)，張福鵬表示：在2020年，我們將圍繞數(shù)據(jù)基礎(chǔ)設(shè)施的三大核心場(chǎng)景，即生產(chǎn)交易、數(shù)據(jù)湖以及邊緣上提供業(yè)界領(lǐng)先的解決方案。

面向生產(chǎn)交易，我們持續(xù)推進(jìn)閃存普惠，在永快、永穩(wěn)、永智方面持續(xù)發(fā)力，采用全新的硬件設(shè)計(jì)、面向全閃存的FlashLink架構(gòu)以及久經(jīng)驗(yàn)證的OceanStor OS操作系統(tǒng)，從架構(gòu)穩(wěn)定性、業(yè)務(wù)高性能、到運(yùn)維智能化方面，進(jìn)行技術(shù)創(chuàng)新和升級(jí)。

面向數(shù)據(jù)湖，我們基于高效彈性EC算法，業(yè)界第一的高密大容量硬件，滿足海量數(shù)據(jù)高效存取需求；通過(guò)原生HDFS協(xié)議實(shí)現(xiàn)大數(shù)據(jù)存算分離，計(jì)算存儲(chǔ)獨(dú)立擴(kuò)展，為實(shí)現(xiàn)TCO大幅度節(jié)省；基于Kunpeng芯片算力卸載+AI Fabric無(wú)損網(wǎng)絡(luò)打造性能標(biāo)桿；非結(jié)構(gòu)化協(xié)議互通，讓HPDA/AI等數(shù)據(jù)分析無(wú)需復(fù)雜數(shù)據(jù)拷貝，效率提升1倍以上；數(shù)據(jù)生命周期管理方面實(shí)現(xiàn)業(yè)界首個(gè)塊、對(duì)象、大數(shù)據(jù)、文件多數(shù)據(jù)服務(wù)統(tǒng)一管理。

面向邊緣，我們提出極簡(jiǎn)、智能的智能邊緣解決方案，運(yùn)用云上通用智能+邊緣個(gè)性化智能協(xié)同技術(shù)，基于AI全生命周期智能管理，從資源發(fā)放到故障定位全方位智能，使得容量趨勢(shì)提前365天，性能趨勢(shì)提前60天預(yù)判、系統(tǒng)提前14天發(fā)現(xiàn)故障盤、93%問(wèn)題發(fā)現(xiàn)即給出方案。創(chuàng)新的智能芯片+邊緣協(xié)同的算法，樹立了存儲(chǔ)業(yè)界智能化的新標(biāo)桿。

寫在最后，華為公司經(jīng)過(guò)了18年的技術(shù)研發(fā)，已經(jīng)進(jìn)入到快速增長(zhǎng)期。截止到2019年Q4，連續(xù)四季度持續(xù)保持30%左右的高速增長(zhǎng)。華為在中國(guó)市場(chǎng)已經(jīng)連續(xù)5年保持了第一的市場(chǎng)份額，并在2019年第四季度全球銷售收入排名升至第三，顯現(xiàn)實(shí)力。這都?xì)w功于長(zhǎng)期不斷的在基礎(chǔ)的硬件、算法、系統(tǒng)以及架構(gòu)上的科研開(kāi)發(fā)。

未來(lái)，華為公司會(huì)持續(xù)投入技術(shù)研究，并在產(chǎn)業(yè)組織、專利和研發(fā)多方面深耕，在智能時(shí)代存儲(chǔ)產(chǎn)業(yè)向下扎到根，保障我們長(zhǎng)期能提供最先進(jìn)、最好的產(chǎn)品解決方案。同時(shí)，華為攜手合作伙伴，打造智能、融合、高效的存儲(chǔ)產(chǎn)品和方案滿足客戶創(chuàng)新數(shù)字化和云化轉(zhuǎn)型需求。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。