[發明專利]一種數據整合系統及其分布式數據整合系統

有效

• 申請號: 201711320914.6
• 申請日: 2017-12-12
• 公開（公告）號: CN108038201B
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 許廣彬;鄭軍;強亮;王子豪
• 申請（專利權）人: 無錫華云數據技術服務有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 蘇州友佳知識產權代理事務所(普通合伙) 32351
• 代理人: 儲振

1.一種數據整合系統，其特征在于，所述數據整合系統運行于JVM內存中，并包括：

Web服務器(11)，受控于Web服務器(11)的流程控制器(20)，所述流程控制器(20)中運行由Web服務器(11)下發的數據轉換流程，以及數據包庫(30)、內容庫(40)及工序庫(50)；

其中，所述流程控制器(20)依賴數據轉換流程，配置所需的若干功能模塊，并通過功能模塊對自上游設備獲取的數據包執行數據轉換操作后，將轉換后的數據包所對應的元數據預寫入數據包庫(30)，同時將剔除元數據的流程數據同時寫入內容庫(40)及工序庫(50)；

內容庫(40)用于保存正在被執行的數據轉換流程所對應的數據包以及歷史數據轉換流程所對應的數據包，

工序庫(50)用于保存當前數據轉換流程和歷史數據轉換流程所對應的數據包的內容。

2.根據權利要求1所述的數據整合系統，其特征在于，當前數據轉換流程所指向的數據包保存于JVM內存的哈希映射表中，所述數據包庫(30)存儲元數據的同步備份日志，當數據包發生更改時，以增量方式寫入同步備份日志，并修改JVM內存中的數據包。

3.根據權利要求1所述的數據整合系統，其特征在于，所述內容庫(40)及工序庫(50)運行于配置有JVM內存的計算裝置的文件系統中。

4.根據權利要求1所述的數據整合系統，其特征在于，所述數據包庫(30)用于存儲所有數據包的元數據；

所述工序庫(50)用于存儲數據包的歷史記錄；

所述內容庫(40)用于保存當前數據轉換流程和歷史數據轉換流程所對應數據包的內容。

5.根據權利要求1所述的數據整合系統，其特征在于，所述功能模塊包括：采集模塊、處理模塊、路由模塊及輸出模塊；

所述采集模塊用于自上游設備的數據庫中采集數據包；

所述處理模塊由至少一個子處理模塊組成，所述子處理模塊根據數據轉換流程對采集到的數據包進行相應處理；

所述路由模塊用于將數據轉換任務路由給一個或者多個子處理模塊；

所述輸出模塊用于向下游設備轉發轉換操作后的數據。

6.根據權利要求5所述的數據整合系統，其特征在于，所述采集模塊選自FromWebSocket插件、FromAMQP插件、FromIMAP插件、FromJMS插件、FromKafka插件、FromKafka0.10插件、FromMQTT插件、FromPOP3插件、FromWindowsEventLog插件、FromFile插件、FromFTP插件、FromHDFS插件、FromS3插件或者FromSFTP插件；

所述子處理模塊選自DataToJSON插件、Base64Encode插件、AvroToJSON插件、CharacterSet插件、RouteByType插件、RouteByContent插件、SpliteAvro插件、SplitJSON插件、SplitText插件、SplitXML插件或者UpdateType插件；

所述輸出模塊選自ToWebSocket插件、ToAMQP插件、ToIMAP插件、ToJMSToKafka插件、ToKafka0.10插件、ToMQTT插件、ToFile插件、ToFTP插件、ToHDFS插件、ToS3插件或者ToSFTP插件。

7.一種分布式數據整合系統，其特征在于，包括至少兩個如權利要求1至6中任一項所述的數據整合系統，每個數據整合系統獨立運行于一個計算裝置中，并將其中一個運行數據整合系統的計算裝置定義為主控計算裝置并將其他運行數據整合系統的計算裝置定義為受控計算裝置，以配置為分布式計算機集群；其中，所述主控計算裝置中配置分布式應用程序協調器(90)。

8.根據權利要求7所述的分布式數據整合系統，其特征在于，所述計算裝置為物理機或者虛擬機。