[發明專利]一種數據處理與控制邏輯分離的ETL調度方法和裝置

有效

• 申請號: 201611260460.3
• 申請日: 2016-12-30
• 公開（公告）號: CN108268494B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 胡國靖;王國飛;李光瑞;汪遠航;羅志成
• 申請（專利權）人: 中移(蘇州)軟件技術有限公司;中國移動通信集團公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 張穎玲;王花麗

1.一種數據處理與控制邏輯分離的ETL調度方法，其特征在于，所述方法包括：

在全部已發布的ETL任務中查找當前ETL任務；

當在全部已發布的ETL任務中沒有查找到所述當前ETL任務時，獲取所述當前ETL任務對應的當前控制流；其中，所述當前控制流中至少包括：所述當前ETL任務對應的當前數據流；所述獲取所述當前ETL任務對應的當前控制流，包括：通過預先設置的控制流組件在全部已發布的控制流中查找所述當前控制流；當在全部已發布的控制流中沒有查找到所述當前控制流時，通過所述控制流組件中的調用數據流組件在全部已發布的數據流中查找所述當前ETL任務對應的當前數據流；當在全部已發布的數據流中查找到所述當前數據流時，在全部已發布的數據流中獲取所述當前數據流；根據所述當前數據流創建所述當前控制流；

根據所述當前控制流對所述當前ETL任務進行調度。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

當在全部已發布的控制流中查找到所述當前控制流時，在全部已發布的控制流中獲取所述當前控制流。

3.根據權利要求1或2所述的方法，其特征在于，所述控制流組件至少包括以下其中之一：所述調用數據流組件、聲明依賴組件、引用依賴組件、數據等待組件以及定時器組件。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

監控所述當前ETL任務是否調度成功；

當所述當前ETL任務調度失敗時，對所述當前控制流對應的各個控制流組件進行檢測；

當所述當前控制流對應的全部控制流組件調度成功時，對所述當前控制流對應的配置參數進行檢測。

5.一種數據處理與控制邏輯分離的ETL調度裝置，其特征在于，所述裝置包括：查找單元、獲取單元和調度單元；其中，

所述查找單元，用于在全部已發布的ETL任務中查找當前ETL任務；

所述獲取單元，用于當在全部已發布的ETL任務中沒有查找到所述當前ETL任務時，獲取所述當前ETL任務對應的當前控制流；其中，所述當前控制流中至少包括：所述當前ETL任務對應的當前數據流；

所述獲取單元包括：查找子單元和獲取子單元；其中，所述查找子單元，用于通過預先設置的控制流組件在全部已發布的控制流中查找所述當前控制流，以及當在全部已發布的控制流中沒有查找到所述當前控制流時，通過所述控制流組件中的調用數據流組件在全部已發布的數據流中查找所述當前ETL任務對應的當前數據流；所述獲取子單元，用于當在全部已發布的數據流中查找到所述當前數據流時，在全部已發布的數據流中獲取所述當前數據流；根據所述當前數據流創建所述當前控制流；

所述調度單元，用于根據所述當前控制流對所述當前ETL任務進行調度。

6.根據權利要求5所述的裝置，其特征在于，

所述獲取子單元，還用于當在全部已發布的控制流中查找到所述當前控制流時，在全部已發布的控制流中獲取所述當前控制流。

7.根據權利要求5或6所述的裝置，其特征在于，所述控制流組件至少包括以下其中之一：所述調用數據流組件、聲明依賴組件、引用依賴組件、數據等待組件以及定時器組件。

8.根據權利要求7所述的裝置，其特征在于，所述裝置還包括：監控單元和檢測單元；其中，

所述監控單元，用于監控所述當前ETL任務是否調度成功；

所述檢測單元，用于當所述當前ETL任務調度失敗時，對所述當前控制流對應的各個控制流組件進行檢測；當所述當前控制流對應的全部控制流組件調度成功時，對所述當前控制流對應的配置參數進行檢測。