[發明專利]數據采集交換引擎

有效

• 申請號: 201611155430.6
• 申請日: 2016-12-14
• 公開（公告）號: CN106599197B
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 王志安;張偉;田海均;譚紅濤;胡均;謝佳
• 申請（專利權）人: 深圳天源迪科信息技術股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 深圳市德力知識產權代理事務所 44265
• 代理人: 林才桂

1.一種數據采集交換引擎，其特征在于，用于異構數據環境之間的數據轉移交換，包括：控制中心(1)、與所述控制中心(1)關聯的通訊與協調模塊(2)，以及與所述通訊與協調模塊(2)關聯的若干個執行器(3)；

每一個執行器(3)中設有至少一種數據交換工具；

所述控制中心(1)用于提供可視化界面供用戶填寫數據采集交換的配置參數，并根據預設的編譯規則自動將用戶填寫的配置參數編譯成配置程序，再依據配置程序選定數據交換工具以及安裝有該數據交換工具的執行器(3)；所述配置參數至少包括：來源數據模型、以及目標數據模型；

所述通訊與協調模塊(2)用于控制中心(1)與執行器(3)之間的分布式通訊與協調，從控制中心(1)接收配置程序，將配置程序中的配置參數和需要執行的任務發送到選定的執行器(3)；

所述執行器(3)用于從通訊與協調模塊(2)接收根據配置程序得到的配置參數和需要執行的任務，并將配置參數編譯成選定的數據交換工具能夠識別的執行程序，利用該執行程序驅動選定的數據交換工具進行數據采集交換，將來源數據模型中數據的采集交換到目標數據模型中。

2.如權利要求1所述的數據采集交換引擎，其特征在于，所述數據交換工具包括：DataX、Sqoop、Embulk、以及Flume。

3.如權利要求1所述的數據采集交換引擎，其特征在于，所述數據交換工具還包括：用戶按照所述數據采集交換引擎預設的接口標準自定義的數據交換工具。

4.如權利要求1所述的數據采集交換引擎，其特征在于，所述來源數據模型以及目標數據模型為數據庫表、文件或消息流。

5.如權利要求4所述的數據采集交換引擎，其特征在于，所述來源數據模型以及目標數據模型中有一個為數據庫表時，所述配置參數還包括字段映射規則。

6.如權利要求4所述的數據采集交換引擎，其特征在于，所述數據庫表的存儲介質包括：oracle數據庫、mysql數據庫、db2數據庫、redis數據庫、mongodb數據庫、hive大數據平臺、hbase大數據平臺、以及elasticsearch大數據平臺；

所述文件的文件系統或文件傳輸協議包括：FTP傳輸協議、SFTP傳輸協議、以及HDFS分布式文件系統；

所述消息流消息中間件包括：kafka消息中間件、以及Apache ActiveMQ消息中間件。

7.如權利要求1所述的數據采集交換引擎，其特征在于，所述控制中心(1)依據配置程序選定數據交換工具以及安裝有該數據交換工具的執行器(3)時首先根據配置程序識別交換任務的類型，然后匹配支持該類型交換任務的數據交換工具，接著根據該交換任務的能力要求和是否有可供使用的執行器(3)選定一種數據交換工具以及安裝有該數據交換工具的執行器(3)。

8.如權利要求2所述的數據采集交換引擎，其特征在于，當所述選定的數據交換工具為Sqoop時，所述執行器(3)將配置程序編譯為Sqoop命令，并提交Shell腳本在服務器執行，從而驅動Sqoop進行數據采集交換；

當所述選定的數據交換工具為DataX時，所述執行器(3)將配置程序編譯為datax Json配置文件，將文件保存在臨時目錄，用python命令啟動，傳入配置文件路徑驅動DataX進行數據采集交換；

當所述選定的數據交換工具為Flume時，所述執行器(3)將配置程序編譯為flume conf配置文件，將文件保存在臨時目錄，判斷對應的flume-ng是否啟動，如啟動則驅動Flume進行數據采集交換，如未啟動，則組裝shell命令啟動flume-ng驅動Flume進行數據采集交換；

當所述選定的數據交換工具為Embulk時，所述執行器(3)將配置程序編譯為Embulk配置文件，將文件保存在臨時目錄，用shell命令啟動，傳入配置文件路徑驅動Embulk進行數據采集交換。

9.如權利要求1所述的數據采集交換引擎，其特征在于，所述執行器(3)還實時監控執行過程并輸出執行日志。

10.如權利要求1所述的數據采集交換引擎，其特征在于，所述通訊與協調模塊(2)為Zookeeper。