數據集成融合平臺是博能數智自主研發(fā)的一款基于微服務架構的多數據源接入、采集、分析處理的中臺型產品,用于快速采集和集成物理世界各類業(yè)務數據和動態(tài)感知數據,目前已支撐了超過20個大型孿生機場項目。平臺包含數據中臺、物聯中臺、位置中臺和分布式存儲計算平臺四個模塊。
【1】數據中臺是數據融合集成平臺的中樞模塊,為用戶提供多種數據源快速接入和融合處理的一站式解決方案,提供數據接入、采集、融合、分析、數據倉庫、數據共享以及實時消息總線等服務。數據中臺由數據資產、數據元資產、規(guī)則引擎、任務調度和共享服務五大功能組成。
數據資產是數據處理流程的基礎設置,實現將結構化、半結構化、實時數據源采集到數據平臺中,對所有數據源連接參數及連接狀態(tài)進行管理。支持超過20種數據庫及數據引擎,包括:Mysql、Oracle、Hive、PostgreSQL、SQLServer、Elasticsearch、Neo4j、Redis、Hbase等數據庫以及kafka、tcp、udp、websocket、http、Rabbitmq等實時數據源,最新版本還新增了SFTP、本地文件服務。
數據元資產是為了描述數據的相關信息而定義的數據概念,例如記錄數據的存儲位置、模型定義、生命周期、血緣關系等信息,包括技術元數據、業(yè)務元數據和操作元數據。
規(guī)則引擎模塊是對采集的數據進行深層次計算和分析,通過可視化的拖拉拽方式實現數據采集、清洗、分析、存儲和共享的流程設置。支持超過40種數據資產處理節(jié)點,包括過濾、排序、去重、關系函數、數據函數、類型轉換、日期函數、字符串函數、自定義函數等,最新版本還增加了數據聚合節(jié)點、數據關聯節(jié)點、接口清洗節(jié)點、文件清洗節(jié)點、Mybaits清洗節(jié)點以及自定義javascript節(jié)點,用戶還可以根據需求自定義任意處理節(jié)點。
任務調度模塊為用戶提供了一個清晰和直觀的方式查看規(guī)則引擎正在運行的各項任務,包括執(zhí)行記錄、操作詳情、狀態(tài)及操作時間、調度周期等。
服務共享模塊可根據用戶不同的應用場景、業(yè)務主題對數據資產進行快捷的共享設置,以API服務的形式對外提供,實現多維度的數據增值服務。
數據中臺提供多源數據集成的任務編排和調度的統一框架,實現對數據基于自定義規(guī)則的分析處理,有效解決了企業(yè)多信息系統之間的數據孤島問題和與數字孿生可視化應用之間的連接問題。
【2】物聯中臺是數據融合集成平臺在物聯設備接入方面的拓展。基于先進的云計算和大數據處理技術,采用分布式系統架構,以設備管理為核心,通過設置不同規(guī)則實現三分物聯設備的數據接入、設備聯動和數據轉發(fā)的一體化功能。
用戶通過創(chuàng)建產品、添加設備、創(chuàng)建設備接入規(guī)則等操作,實現外部物聯設備的接入,并支持查看設備的實時接入情況及歷史數據。同類型設備使用產品的概念進行統一管理,包括產品的基本信息、模型定義、主題管理等。支持10種以上常見的物聯、網絡協議,如:TCP、UDP、CoAP、MQTT、MODBUS、OPC-UA/DA、RS232/485、SNMP、SOAP等。
邊緣節(jié)點模塊用于設備的邊緣端管理,包含HOST、PORT、邊緣ID、邊緣名稱、狀態(tài)、創(chuàng)建時間、更新時間上線時間、離線時間屬性等信息的展示,支持HOST、邊緣ID、邊緣名稱、狀態(tài)、時間段等條件進行查詢以及應用列表、詳情、解綁等操作。
規(guī)則管理模塊則支持接入綁定好的設備,實現設備聯動和數據轉發(fā)功能。可通過創(chuàng)建數據轉發(fā)規(guī)則,將接入的設備數據按照一定的轉發(fā)條件,轉發(fā)至指定目的地,便于第三方系統對數據的訪問引用,實現數據共享,有效減少數據采集中的重復性工作。
最新版本還拓展了物聯感知的相關能力,支持手動添加視頻數據,支持自定義標識、名稱、級別、上行參數、描述等屬性,也新增了設備地圖和視頻分析功能。在數據存儲模塊方面,對時序數據進行了分布式存儲的升級,IOTDB存儲目前已支持100TB以上的數據存儲能力。
物聯中臺作為數據中臺在物聯網方面的拓展,具有大容量、伸縮性、高性能、高并發(fā)特點,較好的解決了不同廠家物聯設備的接入以及互聯互通困難帶來的信息孤島問題。
【3】位置中臺是數據中臺在位置數據處理方面的拓展,為用戶提供位置大數據的一站式解決方案。位置中臺具有強大的位置數據采集能力、可視位置數據優(yōu)化能力和支持復雜位置數據共享的能力。位置中臺服務集成了設備位置數據極其協議采集能力的同時,還提供對位置數據在線解析的能力。
位置中臺在數據的復雜度和數據源的多樣性方面相較于數據中臺都有專業(yè)性的優(yōu)化,支持多種資產數據源的訪問,包含主流關系型數據庫、網絡協議、工業(yè)協議以及其他多種類數據源,并提供高并發(fā)、分布式的數據采集。
位置事件引擎是位置中臺針對位置數據優(yōu)化處理研發(fā)的核心功能,通過圖形化界面的可視操作,實現了位置數據的采集、流轉、清洗、優(yōu)化、分析,并支持把優(yōu)化過后的數據提供給平臺上層端進行位置展示、軌跡查詢。平臺同時提供自助數據清洗、可視化數據監(jiān)控、任務調度等豐富的位置任務管理功能,協助企業(yè)用戶高效實現異構位置數據源和復雜的位置算法優(yōu)化目的間的平衡兼顧。位置中臺在數據處理的基礎之上,還支持數據對外共享,以無需編碼開發(fā)API的形式實現了位置數據的增值服務。
【4】分布式存儲計算平臺作為整體基底,滿足了海量時空大數據存儲和計算的需求。提供高效的分布式存儲架構,能存儲任意容量、任意類型的結構化、非結構化和半結構化數據。提供了包含位置數據分析的YARN、TB級時序數據存儲的HIVE、位置數據實時分析的FLINK、歷史數據分析處理的SPARK、臨時消息隊列處理的KAFKA以及非結構化數據處理的FASTDFS等30余種大數據組件以及一鍵式安裝部署簡化安裝流程,為數據中臺和物聯中臺提供了底層能力的支持,滿足快速運維集群存儲和計算資源的要求。
數據集成融合平臺解決了企業(yè)在孿生項目開發(fā)中時空數據孤島、數據質量差、三方物聯設備統一管理和互聯互通等問題,消除了孿生應用和業(yè)務系統的數字鴻溝,提高業(yè)務敏捷性,全面助力企業(yè)的數字化轉型。