在當今快節(jié)奏的數(shù)字世界中,數(shù)據(jù)的使用不斷發(fā)展,以幫助企業(yè)更好地理解來自大量結構化和非結構化數(shù)據(jù)存儲庫的見解。然而,雖然大數(shù)據(jù)可以提供對業(yè)務至關重要的分析,但這些數(shù)據(jù)主要是用來展示過去時態(tài)發(fā)生了什么。在執(zhí)行預測性和說明性分析時,越來越多地必須考慮廣泛的數(shù)據(jù)。
這就是人工智能可以發(fā)揮作用的地方,也是大數(shù)據(jù)對人工智能的需求出現(xiàn)分歧的地方。大數(shù)據(jù)被定義為三個因素:容量、速度和多樣性。體積是指可用數(shù)據(jù)的大小,速度是指數(shù)據(jù)到達和處理的速度。然而,企業(yè)要想有效地將數(shù)據(jù)用于人工智能的預測目的,就需要各種數(shù)據(jù)。隨著人工智能在各個領域的應用日益普及,訪問不同數(shù)據(jù)集的能力至關重要,也是人工智能算法的催化劑。換句話說,不要讓數(shù)據(jù)太過平淡無奇,而要讓它更多樣化。我們將這種數(shù)據(jù)稱為各種各樣的“寬數(shù)據(jù)”(Wide Data),這些數(shù)據(jù)來自組織的內部、外部、結構化和非結構化數(shù)據(jù)。這一點至關重要,因為在全球化經濟中,企業(yè)業(yè)績取決于許多參數(shù)。
大數(shù)據(jù)應用的一個例子是看看在美國不同地區(qū)設計產品的兩個制造工廠。這兩家工廠的地理位置會對生產產生影響,尤其是在發(fā)生暴風雪等自然災害的情況下??紤]天氣和其他幾個不同的外部因素,再結合內部數(shù)據(jù)來為人工智能算法提供數(shù)據(jù),將會對每個制造組織的庫存、供應鏈和需求做出更準確的預測。數(shù)據(jù)的多樣性提供了更多的相關性,因此AI算法可以更好地學習,從而提供準確的結果。
為什么不是數(shù)據(jù)容量?由于缺乏不同的因變量,數(shù)據(jù)量并不一定意味著算法的學習效果更好。雖然從理論上講,擁有大量數(shù)據(jù)對人工智能應用很重要,但對于高效的算法而言,數(shù)據(jù)的多樣性比數(shù)據(jù)的大小更重要。舉個例子,我們正在做一個預測癌癥患者數(shù)據(jù)的項目。研究對象并不多,只生成了150行數(shù)據(jù)。這產生了相對較少的數(shù)據(jù)來篩選,它不被認為是大數(shù)據(jù)。這就提出了一個問題——人工智能算法是否有足夠的數(shù)據(jù)來學習和預測癌癥患者的后續(xù)情況?在這種情況下,答案是肯定的。因為雖然只有150行,但生物識別、生物傳感器和癥狀數(shù)據(jù)卻構成了數(shù)千列,這使它成為一個廣泛的數(shù)據(jù)。
關鍵在于,對于人工智能應用而言,數(shù)據(jù)的多樣性比數(shù)據(jù)量更重要。寬數(shù)據(jù)的類型
如前所述,有不同類型的數(shù)據(jù),當組合時,使其成為一個寬數(shù)據(jù),如:
內部結構化數(shù)據(jù):位于軟件應用程序(如 ERP、CRM 系統(tǒng)甚至財務系統(tǒng))中的數(shù)據(jù)。內部非結構化數(shù)據(jù):作為內部非結構化數(shù)據(jù)一部分的文檔、圖像、報告、圖表和圖表。外部數(shù)據(jù):來自外部來源的數(shù)據(jù),如天氣、社會、經濟數(shù)據(jù)、人口普查數(shù)據(jù)、證券交易所數(shù)據(jù)等。外部非結構化數(shù)據(jù):來自組織防火墻外部的新聞、圖像、視頻等。CUPP 框架:提供數(shù)據(jù)策略為了成功采用人工智能,擁有最佳人工智能實踐非常重要。一個這樣的框架是 CUPP,它代表收集、統(tǒng)一、處理和呈現(xiàn)。部署這四個步驟是組織開始其 AI 之旅的典型方式。
可能沒有數(shù)據(jù)戰(zhàn)略或數(shù)據(jù)平臺的傳統(tǒng)企業(yè)將受益于創(chuàng)建像 CUPP 這樣的框架。在確保準確性或數(shù)據(jù)準確性方面,框架也很重要。組織需要干凈、高質量的數(shù)據(jù)來確定理想的結果,而準確性會顯著加快這一過程。
以下是組織使用 CUPP 框架所經歷的基本步驟:
1. 從數(shù)據(jù)普查開始利用數(shù)據(jù)普查方法來發(fā)現(xiàn)組織內部和外部擁有的數(shù)據(jù)資產。
此規(guī)劃過程的一部分是定位結構化和非結構化數(shù)據(jù)的來源。許多組織可能會對他們擁有多少非結構化數(shù)據(jù)感到驚訝,并且進行數(shù)據(jù)普查可以讓他們盤點所有數(shù)據(jù)資產。
2. 了解您的數(shù)據(jù)資產在建模之前,重要的是要了解組織已經擁有什么。這有助于開發(fā) AI 最佳實踐,但需要一點耐心。這將作為AI 應用采用的基礎并提供能力投資回報率。
企業(yè)還需要研究其內部-外部結構化和非結構化數(shù)據(jù)的收集和統(tǒng)一策略。
3. 使用機器學習和自然語言處理以及機器學習來轉換和理解非結構化內容組織可以獲取他們獲取的非結構化數(shù)據(jù)并利用自然語言處理將其轉換為結構化內容以訓練您的數(shù)據(jù)。
組織也應該對非結構化內容感到鼓舞,而不是害怕它,因為現(xiàn)在有幾種技術可用于對這些內容進行非常有意義的使用。
關于需要使用寬數(shù)據(jù)的關鍵要點廣泛的數(shù)據(jù)可以更快地啟動 AI 之旅,并且對于幫助組織將來自各種大小、非結構化和結構化數(shù)據(jù)源的見解情境化至關重要。隨著技術的發(fā)展和發(fā)展,沒有企業(yè)可以忽視數(shù)據(jù)的作用和價值,都需要圍繞獲取和分析各種數(shù)據(jù)來制定數(shù)據(jù)策略。
本文作者:Anand Mahurkar是 Findability.Sciences 的首席執(zhí)行官兼創(chuàng)始人。
免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。