現(xiàn)代數(shù)據(jù)堆棧需要徹底改革｜千家視點

現(xiàn)代數(shù)據(jù)堆棧需要徹底改革

組織需要仔細審視其整個數(shù)據(jù)堆棧，并確定所有解決方案是否都提供功能、效率和準確性，或者是否有空間整合為單一的可定制系統(tǒng)。

現(xiàn)代數(shù)據(jù)堆棧已崩潰。從全球范圍來看，平均每個組織使用130種不同的軟件應用程序。由于有如此多的技術可用，數(shù)據(jù)管理很快就會變得復雜。內部構建數(shù)據(jù)管理工具可能成本高昂且耗時，并使組織偏離其最初的使命。外包通常更容易，但隨著組織規(guī)模的擴大，其數(shù)據(jù)也在不斷擴大。企業(yè)領導者突然發(fā)現(xiàn)自己擁有大量軟件解決方案，解決了數(shù)據(jù)管理的不同方面。但并非所有解決方案都能無縫協(xié)作。

數(shù)據(jù)管理專業(yè)人士是時候開始質疑現(xiàn)狀，并尋求不同的數(shù)據(jù)管理方法了。當今的組織需要一種可以輕松表示任何數(shù)據(jù)類型的通用數(shù)據(jù)結構，以及一套統(tǒng)一、一致的工具，以高效準確地與這些數(shù)據(jù)進行交互。

數(shù)據(jù)管理簡史

自20世紀60年代以來，數(shù)據(jù)管理一直是企業(yè)必不可少的一部分，盡管當時它是一項簡單得多的工作。最初的數(shù)據(jù)管理方法包括在大型機上運行的本地解決方案，在接下來的40年里，只有少數(shù)幾家主要參與者占據(jù)了市場，如Oracle、IBM 和 Microsoft。

到本世紀初，云端數(shù)據(jù)管理逐漸流行起來，同時也暴露出本地數(shù)據(jù)堆棧的缺點，包括維護成本上升、能夠訪問數(shù)據(jù)的用戶數(shù)量太少以及處理能力不足。在2000年代和2010年代，組織經(jīng)歷了數(shù)據(jù)源的多樣化和數(shù)量快速增長，以及對數(shù)據(jù)進行更多管理、分析和組織的需求。

進入現(xiàn)代數(shù)據(jù)堆棧：如今，企業(yè)通常擁有多個基于云的數(shù)據(jù)庫和管理工具來容納不斷擴大的數(shù)據(jù)集。無論他們需要擴展、提高速度還是致力于提高數(shù)據(jù)支持的洞察力的質量，組織都可以訪問數(shù)百種解決方案來解決其想要的任何問題。隨著企業(yè)尋求更多解決方案來添加到其技術堆棧，2023年在數(shù)據(jù)即服務工具上的支出超過100 億美元。

為什么現(xiàn)代數(shù)據(jù)堆棧不再起作用

如今，世界正在進入數(shù)據(jù)管理的新時代。大型技術堆棧已不再有效——為了提高工作效率和數(shù)據(jù)質量而不斷增加堆棧的成本越來越高，也越來越復雜。

現(xiàn)代數(shù)據(jù)堆棧過于復雜，需要使用多種工具和平臺。從編目到治理再到訪問控制，每個季度都會有幾種“新”工具進入市場，這些工具都是重新發(fā)明輪子的工具。此外，堆棧中添加的每個新工具都會增加總擁有成本，包括更多的許可費用以及雇用或重新培訓數(shù)據(jù)工程師以使用每個新解決方案。

堆棧中的每個新添加都旨在使一切模塊化，但這導致了一個脫節(jié)的系統(tǒng)，進一步使數(shù)據(jù)孤島化。結果，數(shù)據(jù)科學家、分析師和產(chǎn)品所有者之間的合作受到抑制。他們通常不在同一個平臺上工作，團隊之間也有不同的流程，交接缺乏背景，溝通急轉直下。如今，龐大的數(shù)據(jù)工程師和專業(yè)人員組織正在監(jiān)督企業(yè)組織中的數(shù)據(jù)計劃，但這些計劃需要數(shù)月時間，業(yè)務用戶和決策者并沒有看到所承諾的影響或突破性見解的速度。

此外，還有安全和治理問題。隨著設備的增多，團隊和孤島之間的數(shù)據(jù)傳輸也越來越多。幾乎不可能知道誰有權訪問不同的數(shù)據(jù)集，以及是否應該訪問。

過去幾年，人工智能 (AI)、機器學習 (ML) 以及生成式人工智能和大型語言模型 (LLM) 的進步不斷涌現(xiàn)，這些模型依賴于大量所謂的非結構化數(shù)據(jù)集，例如文本、文件和圖像。遺憾的是，傳統(tǒng)的數(shù)據(jù)架構并非為處理LLM、AI和ML而設計的，因此需要投資于專業(yè)的多模式數(shù)據(jù)管理解決方案，而這些解決方案不僅僅局限于簡單的表格和表格數(shù)據(jù)庫。

表格無法提供正確構建非傳統(tǒng)數(shù)據(jù)所需的靈活性，如圖像和ML嵌入。然而，一個意想不到的結果是，組織紛紛采用定制解決方案——一種用于圖像，另一種用于矢量，這樣的例子不勝枚舉。他們會為狹隘的性能基準和優(yōu)化而沾沾自喜，但卻忽視了組織中還有另一個數(shù)據(jù)孤島，而增加的復雜性現(xiàn)在才是真正的阻礙。

隨著時間的推移，更多的解決方案被添加到堆棧中，分別解決特定問題，進一步孤立數(shù)據(jù)，需要更多管理監(jiān)督，以及額外的治理和合規(guī)執(zhí)行。除了構建和維護內部基礎設施的巨額成本外，招聘和留住人才本身也是一項挑戰(zhàn)。

數(shù)據(jù)庫供應商是時候重新想象數(shù)據(jù)庫系統(tǒng)的構建方式，并努力按照戰(zhàn)略意圖進行構建了。

解決方案：統(tǒng)一的數(shù)據(jù)模型

修復現(xiàn)代數(shù)據(jù)堆棧的解決方案有兩個方面：采用靈活、統(tǒng)一的數(shù)據(jù)模型來應對當今架構的挑戰(zhàn)，以及在單一解決方案中統(tǒng)一所有數(shù)據(jù)、計算和代碼平臺的單一平臺。

可以圍繞多維數(shù)組構建一個可行的統(tǒng)一數(shù)據(jù)模型，這可以為組織提供一個單一系統(tǒng)來容納所有數(shù)據(jù)，并只需一次即可集成首選分類、資源配置、治理等，而無需考慮用例。

其次，需要統(tǒng)一的數(shù)據(jù)平臺。例如，為了避免重建用于編碼和存儲數(shù)據(jù)的單獨基礎設施，組織有機會使用相同的系統(tǒng)進行編碼和存儲，這也將重復使用相同的治理和合規(guī)模型。最終，這種合并將帶來成本效益和更高的性能，因為工程師不必再為將相同的數(shù)據(jù)復制和預處理到多個系統(tǒng)中而陷入困境。

在2024年及以后，組織需要認真審視其整個數(shù)據(jù)堆棧，并確定所有這些解決方案是否都提供了功能、效率和準確性，或者是否有空間整合成一個可定制的單一系統(tǒng)。然而，這個問題不應該落在終端用戶的肩上，而應該落在有能力為客戶創(chuàng)建統(tǒng)一解決方案的軟件供應商的肩上。

對于希望削減成本、提高生產(chǎn)力和簡化運營的組織來說，數(shù)據(jù)基礎設施不必太復雜，而且現(xiàn)有的數(shù)據(jù)管理解決方案可以讓工作變得更輕松。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。