伴隨著信息量的指數(shù)級增長，大數(shù)據(jù)面臨著算力吃緊、存儲資源告急、數(shù)據(jù)處理效率無法滿足業(yè)務增長訴求等一系列問題，直到近年來興起的容器技術的出現(xiàn)，才得以有效解決此類問題。
據(jù)悉，容器技術以其易遷移、擴容快、輕量化等優(yōu)勢，結合計算存儲分離的分布式架構，可以更好地發(fā)揮大數(shù)據(jù)平臺在高并發(fā)、實時分析、海量數(shù)據(jù)集等應用場景下的優(yōu)勢。諸如保險、電力、零售、互聯(lián)網(wǎng)、汽車、等行業(yè)，通過這種方式能夠制定更貼近用戶的商業(yè)策略、服務方案，并進行精準推送。
隨著5G+云+AI時代來臨，數(shù)據(jù)變得更復雜、更多、更精細化，大數(shù)據(jù)對企業(yè)的發(fā)展越來越重要。而行業(yè)所面臨的則是如何用一種更實用、更高效的解決方案，處理爆炸式增長的數(shù)據(jù)。對此，各大公司也進行了新一輪的技術探討。
伴隨著容器技術的成熟及在各行業(yè)的深入應用，部分企業(yè)也著手于平臺的容器化改造，希望結合容器的優(yōu)勢，為大數(shù)據(jù)平臺賦予新的力量。截止目前，存算分離的方案相對較為成熟以Spark為例，其大致可分為Spark On Kubernetes和Spark Standalone兩種方案。
Spark On Kubernetes集群方案，該方案使用Kubernetes替代Yarn來進行統(tǒng)一的資源編排和調度，通過相關技術可以進一步提升資源管理效率，優(yōu)化了資源分配，同時也實現(xiàn)了對容器資源的動態(tài)管理。
另一種Spark Standalone方案得益于容器任務隔離、細粒度、輕量化的算力管理等特點，可以將主機劃分成更多小顆粒的任務單元，充分利用了主機資源。但該方案無法對容器進行動態(tài)管理，盡管資源利用率有所提升，但仍存在浪費現(xiàn)象。
然而，Kubernetes不屬于Hadoop生態(tài)組件，與傳統(tǒng)Spark on YARN相比存在著性能較差、缺少任務隊列、external shuffle service等特性，同樣也不好解決企業(yè)的問題?；诖?，華為云推出鯤鵬大數(shù)據(jù)容器解決方案，能很好地解決這個問題。
據(jù)了解，華為云鯤鵬大數(shù)據(jù)容器解決方案能提供一套更完善的容器化大數(shù)據(jù)解決方案。該方案以支持原生多協(xié)議的OBS對象存儲服務為統(tǒng)一的存儲數(shù)據(jù)湖，可以無限彈性擴容的鯤鵬算力作為計算資源，提供“極致彈性、極致高效、存算分離”的全新公有云大數(shù)據(jù)解決方案，能有效應對當前大數(shù)據(jù)行業(yè)存在的瓶頸，大幅提升了大數(shù)據(jù)集群的資源利用率，助力企業(yè)智能轉型升級。未來，華為云也同樣會將更多的技術融入到該方案中，致力為企業(yè)帶來更好的服務。
眾所周知，華為技術實力強勁，其云計算品牌華為云同樣以其深厚的技術功底不斷創(chuàng)新并賦能各行各業(yè)。選擇華為云正當時，雙十一期間，華為云設置內容加速專場、域名建站專場、AI大數(shù)據(jù)專場等，促銷囊括眾多明星產品，欲了解更多詳情，請至華為云官網(wǎng)
免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。
