[發明專利]一種數據處理與控制邏輯分離的ETL調度方法和裝置

有效

• 申請號: 201611260460.3
• 申請日: 2016-12-30
• 公開（公告）號: CN108268494B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 胡國靖;王國飛;李光瑞;汪遠航;羅志成
• 申請（專利權）人: 中移(蘇州)軟件技術有限公司;中國移動通信集團公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 張穎玲;王花麗

本發明實施例公開了一種數據處理與控制邏輯分離的ETL調度方法和裝置，所述方法包括：在全部已發布的抽取轉換裝載ETL任務中查找當前ETL任務；當在全部已發布的ETL任務中沒有查找到所述當前ETL任務時，獲取所述當前ETL任務對應的當前控制流；其中，所述當前控制流中至少包括：所述當前ETL任務對應的當前數據流；根據所述當前控制流對所述當前ETL任務進行調度。不僅能夠簡化ETL任務的調度流程，而且還可以提高ETL任務的調度效率。

技術領域

本發明涉及數據處理技術，尤其涉及一種數據處理與控制邏輯分離的ETL調度方法和裝置。

背景技術

隨著大數據技術發展，分布式的數據存儲系統越來越多，大數據應用一般需要集成多個不同的數據存儲系統來構建不同應用的數據倉庫。傳統的數據抽取轉換裝載ETL是指在構建數據倉庫的過程中對數據源中的數據經過抽取(Extract)、轉換(Transform)、裝載(Load)到數據倉庫的過程。

圖1為現有技術中ETL任務的組成結構示意圖。如圖1所示，ETL任務的數據處理過程為：先讀取配置數據庫中的基本對象配置，按照各模板的配置依次從源數據庫中抽取數據，將其存儲到臨時數據庫中；然后將抽取數據存儲到臨時數據庫后，再根據一定的轉換規則，對抽取的數據進行轉換；數據轉換完成后再對其進行一些必要的處理，清除那些不正確的，不完整的數據，再對數據的格式等進行加工，最后裝載到目標數據庫中。也就是說，在ETL的調度過程中，主要包括數據處理和邏輯控制兩個方面。其中，數據處理包括：抽取、轉換和裝載；邏輯控制包括：依賴、等待、定時和調度。

在現有ETL任務的調度方法中，通常將當前ETL任務的數據處理和控制邏輯作為一個整體的調度單元進行調度。例如，假設當前ETL任務中包括三個子任務，分別為：任務A、任務B和任務C；任務C依賴于任務A和任務B。采用現有ETL任務的調度方法，先在預先保存的全部ETL任務中查找當前ETL任務；當在預先保存的全部ETL中沒有查找到當前ETL時，需要先創建當前ETL任務的各個子任務，然后再根據各個子任務創建當前ETL任務。即：先創建任務A、任務B和任務C；然后根據任務A、任務B和任務C創建當前ETL任務。這樣就會大大增加調度ETL的復雜度，降低ETL的調度效率。

發明內容

為解決上述技術問題，本發明實施例期望提供一種數據處理與控制邏輯分離的ETL調度方法和裝置，不僅能夠簡化ETL任務的調度流程，而且還可以提高ETL任務的調度效率。

本發明的技術方案是這樣實現的：

本發明實施例提供了一種數據處理與控制邏輯分離的ETL調度方法，所述方法包括：

在全部已發布的ETL任務中查找當前ETL任務；

當在全部已發布的ETL任務中沒有查找到所述當前ETL任務時，獲取所述當前ETL任務對應的當前控制流；其中，所述當前控制流中至少包括：所述當前ETL任務對應的當前數據流；

根據所述當前控制流對所述當前ETL任務進行調度。

在上述實施例中，所述獲取所述當前ETL任務對應的當前控制流，包括：

通過預先設置的控制流組件在全部已發布的控制流中查找所述當前控制流；

當在全部已發布的控制流中查找到所述當前控制流時，在全部已發布的控制流中獲取所述當前控制流。

在上述實施例中，所述方法還包括：

當在全部已發布的控制流中沒有查找到所述當前控制流時，通過所述控制流組件中的調用數據流組件在全部已發布的數據流中查找所述當前ETL任務對應的當前數據流；

當在全部已發布的數據流中查找到所述當前數據流時，在全部已發布的數據流中獲取所述當前數據流；

根據所述當前數據流創建所述當前控制流。