中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

1.業(yè)務(wù)介紹

中國有色工程有限公司暨中國恩菲工程技術(shù)有限公司(原中國有色工程設(shè)計(jì)研究總院,簡稱“中國恩菲”)是中華人民共和國成立后,為恢復(fù)和發(fā)展我國有色金屬工業(yè)而設(shè)立的專業(yè)設(shè)計(jì)機(jī)構(gòu),現(xiàn)為世界五百強(qiáng)企業(yè)中國五礦、中冶集團(tuán)子企業(yè)。70 年來,中國恩菲在 30 多個(gè)國家和地區(qū)參與了 1.2 萬個(gè)工程項(xiàng)目,業(yè)務(wù)主要包括非煤礦山、有色冶金、新高材料、能源環(huán)境、智能裝備、數(shù)字智能等。

當(dāng)前,中國恩菲正全力引領(lǐng)行業(yè)新基建變革,以國家戰(zhàn)略為指引,在“雙循環(huán)”格局下,加速“數(shù)字化、平臺(tái)化、智慧化、國際化”轉(zhuǎn)型,引領(lǐng)行業(yè)向智能、生態(tài)、智慧、綠色的方向持續(xù)發(fā)展,致力于成為最值得信賴的國際化工程綜合服務(wù)商及能源環(huán)境發(fā)展商。

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

中國恩菲數(shù)字智能技術(shù)公司整合自原中國恩菲電氣智能技術(shù)公司、信息技術(shù)中心、恩菲研究院數(shù)字工程中心的團(tuán)隊(duì)與技術(shù),打造了涵蓋技術(shù)創(chuàng)新、產(chǎn)品研發(fā)、工程服務(wù)等優(yōu)勢業(yè)務(wù)能力,集自動(dòng)化、信息化、數(shù)字化于一體的智能化業(yè)務(wù)體系,劃分四大業(yè)務(wù)板塊,相互協(xié)同、融會(huì)貫通,為客戶提供恩菲“MIM+”數(shù)字一體化解決方案與“1+1+N”項(xiàng)目定制化實(shí)施方案。

1 個(gè)平臺(tái):搭建一個(gè)集全信息可視化、全流程數(shù)字化、全周期數(shù)字孿生三位功能于一體的工業(yè)互聯(lián)網(wǎng)平臺(tái)。

1 個(gè)中心:建設(shè)一個(gè)覆蓋全廠范圍的大規(guī)模集控、無邊界協(xié)同的智慧運(yùn)營中心。

N 個(gè)應(yīng)用:基于工業(yè)互聯(lián)網(wǎng)平臺(tái)開發(fā) N 個(gè)智慧應(yīng)用(含移動(dòng) APP),如:生產(chǎn)管理、能源管理、設(shè)備管理、質(zhì)計(jì)管理、安全管理、環(huán)保管理、物流管理、工程管理、智慧決策、優(yōu)化控制、仿真計(jì)算、數(shù)字孿生等,以及 N 個(gè)智能終端(含智能裝備)。

在恩菲“MIM+”工業(yè)互聯(lián)網(wǎng)平臺(tái)中,時(shí)序數(shù)據(jù)庫 IoTDB 介于數(shù)據(jù)采集節(jié)點(diǎn)與大數(shù)據(jù)平臺(tái)和業(yè)務(wù)系統(tǒng)之間,作為統(tǒng)一數(shù)據(jù)采集管理模塊中的重要組件,主要應(yīng)用于智能工廠建設(shè)中智能裝備和 DCS 系統(tǒng)的數(shù)據(jù)采集、存儲(chǔ)、管理方向,實(shí)現(xiàn)了海量時(shí)序數(shù)據(jù)的高并發(fā)寫入與低延時(shí)查詢,并結(jié)合其配套的可視化控制臺(tái) Workbench 等工具,建立了清晰易操作的數(shù)據(jù)模型管理方案。

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

2.選型考量

中國恩菲的有色金屬智能工廠場景,時(shí)序數(shù)據(jù)的采集、存儲(chǔ)、管理涉及超過 30 個(gè)自動(dòng)化智能裝備系統(tǒng),設(shè)備類型繁多,采集測點(diǎn)數(shù)量超 10 萬,秒級(jí)采集頻率下可產(chǎn)生超 80 億條數(shù)據(jù),每天約產(chǎn)生超 50G 數(shù)據(jù)量,數(shù)據(jù)規(guī)模龐大且并發(fā)要求極高。

傳統(tǒng)關(guān)系型數(shù)據(jù)庫底層架構(gòu)不是專門為處理時(shí)序數(shù)據(jù)設(shè)計(jì),無法實(shí)現(xiàn)契合物聯(lián)網(wǎng)設(shè)備層級(jí)結(jié)構(gòu)的有效管理,開發(fā)人員查找設(shè)備測點(diǎn)對(duì)應(yīng)數(shù)據(jù)存在困難,關(guān)系型數(shù)據(jù)庫在處理大規(guī)模、高頻率的時(shí)序數(shù)據(jù)時(shí)也會(huì)遇到性能瓶頸。即便可以采用集群分庫分表方式解決性能問題,但該方案需要的服務(wù)器數(shù)量較多,開發(fā)運(yùn)維成本非常高。

面對(duì)上述困難,時(shí)序數(shù)據(jù)庫 IoTDB 的多項(xiàng)架構(gòu)與性能優(yōu)勢,為中國恩菲提供了優(yōu)于關(guān)系型數(shù)據(jù)庫并契合智能裝備系統(tǒng)監(jiān)控場景的解決方案:

支持集群部署:IoTDB 集群的負(fù)載均衡、高可用、動(dòng)態(tài)擴(kuò)容等能力有效提高讀寫速度,降低了單節(jié)點(diǎn)宕機(jī)情況下業(yè)務(wù)系統(tǒng)受到影響的風(fēng)險(xiǎn)。

層級(jí)結(jié)構(gòu)的數(shù)據(jù)模型:IoTDB 創(chuàng)新使用樹形時(shí)序模型,完美解決了設(shè)備管理層級(jí)結(jié)構(gòu)的存儲(chǔ)問題,方便開發(fā)運(yùn)維人員快速定位查找設(shè)備測點(diǎn)數(shù)據(jù)。

高效的寫入、查詢、壓縮性能:IoTDB 基于自研時(shí)序文件格式 TsFile 支持列式存儲(chǔ),結(jié)合先進(jìn)的編碼技術(shù)與時(shí)序友好的索引結(jié)構(gòu),大大提高了數(shù)據(jù)存儲(chǔ)效率,有效減少磁盤空間的使用量,并能夠保障高并發(fā)、高吞吐寫入與低延遲查詢效能。

豐富的應(yīng)用編程接口:IoTDB 提供多種應(yīng)用編程接口(API),如 Golang,Java,Python 等,使不同開發(fā)人員無需擔(dān)憂跨語言開發(fā)的復(fù)雜性,能夠便捷高效地開展開發(fā)工作。

便捷的數(shù)據(jù)遷移能力:IoTDB 能夠?qū)崿F(xiàn)端-邊-云協(xié)同,基于底層的統(tǒng)一數(shù)據(jù)格式 TsFile,能夠無縫實(shí)現(xiàn)不同層級(jí)設(shè)備與系統(tǒng)間的數(shù)據(jù)流轉(zhuǎn),數(shù)據(jù)文件可以一次處理、多次使用,大幅節(jié)省網(wǎng)絡(luò)帶寬與接收端 CPU 資源。

功能齊全的可視化客戶端:專為 IoTDB 配套的可視化控制臺(tái)工具 Workbench 集成了豐富的數(shù)據(jù)庫操作管理功能,可通過圖形化方式快速完成業(yè)務(wù)設(shè)計(jì),大大降低數(shù)據(jù)庫使用的學(xué)習(xí)成本,一站實(shí)現(xiàn)時(shí)序數(shù)據(jù)可視化管理。

豐富的運(yùn)維工具和完善的操作文檔手冊:IoTDB 配套提供集群管理、系統(tǒng)監(jiān)控面板等運(yùn)維工具,結(jié)合詳細(xì)的用戶使用手冊,方便運(yùn)維人員以更小的使用成本監(jiān)測系統(tǒng)狀態(tài),并進(jìn)行性能調(diào)優(yōu)。

3.解決方案

在恩菲“MIM+”工業(yè)互聯(lián)網(wǎng)平臺(tái)中,時(shí)序數(shù)據(jù)庫 IoTDB 采用分布式集群部署,憑借其強(qiáng)大的橫向擴(kuò)展能力與性能優(yōu)勢,能夠高效應(yīng)對(duì)工業(yè)場景下海量時(shí)序數(shù)據(jù)的復(fù)雜管理需求。

首先,通過不同智能裝備系統(tǒng)獲取的各設(shè)備測點(diǎn)信息,借助 IoTDB Workbench 的數(shù)據(jù)模型批量導(dǎo)入功能,管理者與業(yè)務(wù)人員可批量完成設(shè)備測點(diǎn)層級(jí)結(jié)構(gòu)的建模,方便對(duì)海量設(shè)備時(shí)序數(shù)據(jù)進(jìn)行系統(tǒng)性、結(jié)構(gòu)化管理。

建模完成后,各類自動(dòng)化智能裝備系統(tǒng)上報(bào)的時(shí)序數(shù)據(jù)匯總至數(shù)據(jù)采集節(jié)點(diǎn),通過 API 接口寫入時(shí)序數(shù)據(jù)庫 IoTDB 中。管理者與業(yè)務(wù)人員可以通過 IoTDB Workbench 集成的豐富數(shù)據(jù)庫操作管理功能,對(duì)存儲(chǔ)在 IoTDB 中的海量時(shí)序數(shù)據(jù)執(zhí)行查詢、計(jì)算與分析,實(shí)時(shí)查看對(duì)應(yīng)設(shè)備測點(diǎn)的數(shù)據(jù)趨勢,并根據(jù)業(yè)務(wù)需要調(diào)整模型節(jié)點(diǎn)配置。

時(shí)序數(shù)據(jù)庫 IoTDB 可以通過 API/SQL 直讀模式,為統(tǒng)一數(shù)據(jù)采集管理模塊的下游業(yè)務(wù)系統(tǒng)直接提供數(shù)據(jù)支撐,也可以通過集成的 IoTDB Flink Connector 讀取能力,為大數(shù)據(jù)平臺(tái)提供原始數(shù)據(jù)。大數(shù)據(jù)平臺(tái)將基于業(yè)務(wù)具體需求對(duì)原始數(shù)據(jù)進(jìn)行加工,將加工后的數(shù)據(jù)提供給下游業(yè)務(wù)系統(tǒng)。

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

目前,時(shí)序數(shù)據(jù)庫 IoTDB 存儲(chǔ)數(shù)據(jù)量級(jí)已經(jīng)相當(dāng)可觀。以電解區(qū)域場景為例,目前 IoTDB 管理設(shè)備 359 個(gè),測點(diǎn) 4971 個(gè),采集頻率為秒級(jí),當(dāng)前存儲(chǔ)數(shù)據(jù)超 327 億條:

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

在總數(shù)據(jù)量已達(dá)數(shù)百億條,13 個(gè)通道并行寫入存儲(chǔ)的情況下,時(shí)序數(shù)據(jù)庫 IoTDB 寫入性能仍舊穩(wěn)定保持在毫秒級(jí),集群模式下表現(xiàn)出可靠的性能:

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

4.應(yīng)用場景

場景一:歷史數(shù)據(jù)讀取

時(shí)序數(shù)據(jù)庫 IoTDB 可根據(jù)業(yè)務(wù)需要,讀取特定設(shè)備測點(diǎn)的最新值,并提供給下游組態(tài)界面,應(yīng)用于該設(shè)備測點(diǎn)的數(shù)據(jù)實(shí)時(shí)展示。

多線程查詢測點(diǎn)數(shù)據(jù)代碼如下:

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

以下結(jié)果可見,在 5 個(gè)線程同時(shí)分別查詢 5 個(gè)設(shè)備測點(diǎn)當(dāng)前值數(shù)據(jù)的場景中,時(shí)序數(shù)據(jù)庫 IoTDB 查詢結(jié)果均保持在毫秒級(jí)返回:

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

時(shí)序數(shù)據(jù)庫 IoTDB 數(shù)據(jù)結(jié)果有效支持組態(tài)界面實(shí)時(shí)展示:

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

場景二:IoTDB 與 Flink 集成

Flink 是一個(gè)功能強(qiáng)大的流處理框架,適用于實(shí)時(shí)和批處理任務(wù),具備高性能、容錯(cuò)性和易用性,廣泛應(yīng)用于多種數(shù)據(jù)處理場景。

通過在 Flink SQL Client 使用時(shí)序數(shù)據(jù)庫 IoTDB 定制化集成的 flink-sql-iotdb-connector 軟件安裝包,可以直接應(yīng)用 Flink 批處理或?qū)崟r(shí)處理 IoTDB 中的時(shí)序數(shù)據(jù)。

比如調(diào)用 Flink 中的 Sink 操作,在一個(gè) Flink Table 的 Streaming Job 中將數(shù)據(jù)寫入到 IoTDB 中。Flink SQL 如下所示:

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

再比如調(diào)用 Flink 中的 Lookup Point 操作,將 IoTDB 中的 device 作為維度表進(jìn)行 Lookup 查詢。Flink SQL 如下所示:

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

5.未來展望

中國恩菲通過深度應(yīng)用時(shí)序數(shù)據(jù)庫 IoTDB,構(gòu)建了有色金屬行業(yè)智能制造轉(zhuǎn)型的核心數(shù)據(jù)底座。IoTDB 強(qiáng)大的數(shù)據(jù)處理能力與豐富的運(yùn)維工具支持,精準(zhǔn)契合了復(fù)雜生產(chǎn)流程中對(duì)海量數(shù)據(jù)進(jìn)行實(shí)時(shí)管理與深度分析的需求,為中國恩菲的數(shù)字化創(chuàng)新實(shí)踐提供了堅(jiān)實(shí)有力的支撐。

未來,中國恩菲希望和時(shí)序數(shù)據(jù)庫 IoTDB 共同成長,通過技術(shù)研發(fā)、應(yīng)用拓展等多個(gè)維度持續(xù)發(fā)力,不斷挖掘 IoTDB 在有色金屬行業(yè)的潛在價(jià)值,全力追求更為卓越的應(yīng)用成效,推進(jìn)有色礦冶工程國際化、智慧化、數(shù)字化進(jìn)程。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )