[發明專利]一種分布式數據ETL處理方法及裝置

有效

• 申請號: 201610703660.5
• 申請日: 2016-08-22
• 公開（公告）號: CN107766387A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 呂燕
• 申請（專利權）人: 南京中興軟件有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 工業和信息化部電子專利中心11010
• 代理人: 吳永亮

技術領域

本發明涉及數據處理技術領域，尤其涉及一種分布式數據ETL處理方法及裝置。

背景技術

當前，數據ETL(Extract-Transform-Load，抽取-轉換-裝載)處理裝置是各種與數據有關的應用中的基礎功能組件，它為上層應用提供數據支撐，數據ETL處理裝置的功能和性能是決定上層應用成敗的關鍵要素。

隨著數據越來越集中，數據量越來越大，單機版的數據ETL處理裝置無法滿足高并發和海量數據的采集加工需求。現有一些廠家的分布式數據ETL處理裝置，是將作業分片分發到集群上處理，對編制數據ETL處理的任務要求高，稍有作業編排錯誤，數據結果便不準確；還有一些廠家的分布式數據ETL處理裝置，是單機版數據ETL處理裝置的堆砌，作業調度靈活性差，數據ETL處理效率低下。

發明內容

本發明要解決的技術問題是，提供一種分布式數據ETL數據處理方法及裝置，克服現有技術中分布式數據ETL處理效率低下和對編制數據ETL處理的任務要求高的缺陷。

本發明采用的技術方案是，所述一種分布式ETL處理方法，分布式數據ETL處理系統中包括主ETL服務器和從ETL服務器，所述方法，包括：

主ETL服務器分配數據ETL處理任務至所述分布式數據ETL處理系統中的主ETL服務器或從ETL服務器；

當主ETL服務器分配到數據ETL處理任務時，對分配到的數據ETL處理任務進行數據ETL處理。

進一步地，所述方法，還包括：主ETL服務器對分布式數據ETL處理系統中的從ETL服務器的數量進行動態控制。

進一步地，所述主ETL服務器為網絡服務器；

所述從ETL服務器的數量為一個或多個；所述從ETL服務器為網絡服務器；

所述主ETL服務器與所述從ETL服務器通過網絡服務Web Service消息進行交互。

進一步地，所述方法，還包括：

在主ETL服務器分配數據ETL處理任務至所述分布式數據ETL處理系統中的從ETL服務器之前，先對分配至所述從ETL服務器的數據ETL處理任務進行壓縮打包，再將經過壓縮打包的數據ETL處理任務分配至所述分布式數據ETL處理系統中的從ETL服務器。

進一步地，所述方法，還包括：

在主ETL服務器分配數據ETL處理任務至所述分布式數據ETL處理系統中的從ETL服務器之后，

主ETL服務器監控向所述從ETL服務器分配的數據ETL處理任務的數據傳輸量，并監控所述從ETL服務器分配到的數據ETL處理任務處理量；

主ETL服務器查詢向所述從ETL服務器分配的數據ETL處理任務的執行狀態，查詢向所述從ETL服務器分配的數據ETL處理任務的執行結果。

進一步地，所述方法，還包括：

在主ETL服務器分配數據ETL處理任務至所述分布式數據ETL處理系統中的主ETL服務器或從ETL服務器之前，主ETL服務器對所述數據ETL處理任務是否是與大數據計算存儲平臺相關的數據ETL處理任務進行判斷；

若是，則主ETL服務器將大數據計算存儲平臺相關的數據ETL處理任務分配至大數據計算存儲平臺；

由所述大數據計算存儲平臺對與大數據計算存儲平臺相關的數據ETL處理任務進行分片數據ETL處理。

進一步地，主ETL服務器根據參考信息分配數據ETL處理任務至所述分布式數據ETL處理系統中的主ETL服務器或從ETL服務器；

當主ETL服務器分配到數據ETL處理任務時，根據分配到的數據ETL處理任務的優先級進行數據ETL處理；

所述參考信息，包括：數據ETL處理任務的優先級，或者，數據ETL處理任務的優先級以及主ETL服務器和從ETL服務器已分配到的數據ETL處理任務。

本發明還提供一種分布式數據抽取-轉換-裝載ETL處理裝置，分布式數據ETL處理系統中包括主ETL服務器和從ETL服務器，所述裝置設置于主ETL服務器，所述裝置，包括：

分配模塊，用于分配數據ETL處理任務至所述分布式數據ETL處理系統中的主ETL服務器或從ETL服務器；

主處理模塊，用于分配到數據ETL處理任務時，對分配到的數據ETL處理任務進行數據ETL處理。

進一步地，所述裝置，還包括：

動態控制模塊：用于對分布式數據ETL處理系統中的從ETL服務器的數量進行動態控制。

進一步地，所述主ETL服務器為網絡服務器；