[發明專利]一種分布式數據ETL處理方法及裝置

有效

• 申請號: 201610703660.5
• 申請日: 2016-08-22
• 公開（公告）號: CN107766387A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 呂燕
• 申請（專利權）人: 南京中興軟件有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 工業和信息化部電子專利中心11010
• 代理人: 吳永亮

1.一種分布式數據抽取-轉換-裝載ETL處理方法，其特征在于，分布式數據ETL處理系統中包括主ETL服務器和從ETL服務器，所述方法，包括：

主ETL服務器分配數據ETL處理任務至所述分布式數據ETL處理系統中的主ETL服務器或從ETL服務器；

當主ETL服務器分配到數據ETL處理任務時，對分配到的數據ETL處理任務進行數據ETL處理。

2.根據權利要求1所述的分布式數據ETL處理方法，其特征在于，所述方法，還包括：主ETL服務器對分布式數據ETL處理系統中的從ETL服務器的數量進行動態控制。

3.根據權利要求1所述的分布式數據ETL處理方法，其特征在于，所述主ETL服務器為網絡服務器；

所述從ETL服務器的數量為一個或多個；所述從ETL服務器為網絡服務器；

所述主ETL服務器與所述從ETL服務器通過網絡服務Web Service消息進行交互。

4.根據權利要求1所述的分布式數據ETL處理方法，其特征在于，所述方法，還包括：

在主ETL服務器分配數據ETL處理任務至所述分布式數據ETL處理系統中的從ETL服務器之前，先對分配至所述從ETL服務器的數據ETL處理任務進行壓縮打包，再將經過壓縮打包的數據ETL處理任務分配至所述分布式數據ETL處理系統中的從ETL服務器。

5.根據權利要求1所述的分布式數據ETL處理方法，其特征在于，所述方法，還包括：

在主ETL服務器分配數據ETL處理任務至所述分布式數據ETL處理系統中的從ETL服務器之后，

主ETL服務器監控向所述從ETL服務器分配的數據ETL處理任務的數據傳輸量，并監控所述從ETL服務器分配到的數據ETL處理任務處理量；

主ETL服務器查詢向所述從ETL服務器分配的數據ETL處理任務的執行狀態，查詢向所述從ETL服務器分配的數據ETL處理任務的執行結果。

6.根據權利要求1所述的分布式數據ETL處理方法，其特征在于，所述方法，還包括：

在主ETL服務器分配數據ETL處理任務至所述分布式數據ETL處理系統中的主ETL服務器或從ETL服務器之前，主ETL服務器對所述數據ETL處理任務是否是與大數據計算存儲平臺相關的數據ETL處理任務進行判斷；

若是，則主ETL服務器將大數據計算存儲平臺相關的數據ETL處理任務分配至大數據計算存儲平臺；

由所述大數據計算存儲平臺對與大數據計算存儲平臺相關的數據ETL處理任務進行分片數據ETL處理。

7.根據權利要求1所述的分布式數據ETL處理方法，其特征在于，主ETL服務器根據參考信息分配數據ETL處理任務至所述分布式數據ETL處理系統中的主ETL服務器或從ETL服務器；

當主ETL服務器分配到數據ETL處理任務時，根據分配到的數據ETL處理任務的優先級進行數據ETL處理；

所述參考信息，包括：數據ETL處理任務的優先級，或者，數據ETL處理任務的優先級以及主ETL服務器和從ETL服務器已分配到的數據ETL處理任務。

8.一種分布式數據抽取-轉換-裝載ETL處理裝置，其特征在于，分布式數據ETL處理系統中包括主ETL服務器和從ETL服務器，所述裝置設置于主ETL服務器，所述裝置，包括：

分配模塊，用于分配數據ETL處理任務至所述分布式數據ETL處理系統中的主ETL服務器或從ETL服務器；

主處理模塊，用于分配到數據ETL處理任務時，對分配到的數據ETL處理任務進行數據ETL處理。

9.根據權利要求8所述的分布式數據ETL處理裝置，其特征在于，所述裝置，還包括：

動態控制模塊：用于對分布式數據ETL處理系統中的從ETL服務器的數量進行動態控制。

10.根據權利要求8所述的分布式數據ETL處理裝置，其特征在于，所述主ETL服務器為網絡服務器；

所述從ETL服務器的數量為一個或多個；所述從ETL服務器為網絡服務器；

所述主ETL服務器與所述從ETL服務器通過網絡服務Web Service消息進行交互。