[發明專利]基于數據的分布式ETL調度的方法和裝置

在審

• 申請號: 201910949148.2
• 申請日: 2019-10-08
• 公開（公告）號: CN110795479A
• 公開（公告）日: 2020-02-14
• 發明（設計）人: 李威;覃鵬;葉長全;劉增文;吳仰波
• 申請（專利權）人: 中國建設銀行股份有限公司;建信金融科技有限責任公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F9/48
• 代理公司: 11219 中原信達知識產權代理有限責任公司
• 代理人: 張一軍;張效榮

本發明公開了一種基于數據的分布式ETL調度的方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：根據當前作業流的作業流配置表，確定當前作業流的數據源表；依據該數據源表查找所有作業流的作業流配置表，確定以該數據源表作為數據結果表的依賴作業流；當該依賴作業流執行成功時執行當前作業流，并將當前作業流的執行數據保存至當前作業流的數據結果表。該實施方式能夠以生產時產生的中間結果數據作為數據源，減少作業依賴復雜度、減少冗余數據的產生且節省計算資源、提高調度效率。

技術領域

本發明涉及計算機技術領域，尤其涉及一種基于數據的分布式ETL調度的方法和裝置。

背景技術

現有的數據分析領域，主流的開源作業調度工具，如Azkaban、Oozie、Kettle(C/S架構)等，ETL(Extract-Transform-Load，用來描述將數據從來源端經過萃取、轉置、加載至目的端的過程)過程通常是依靠于源數據作為數據源進行時間、事件型調度，實際生產中的數據種類龐大，中間結果數據更是龐大，如果ETL過程僅僅依靠于源數據作為數據源進行調度，會產生更多的一次性數據且浪費計算資源。

發明內容

有鑒于此，本發明實施例提供一種基于數據的分布式ETL調度的方法和裝置，能夠以生產時產生的中間結果數據作為數據源，減少作業依賴復雜度、減少冗余數據的產生且節省計算資源、提高調度效率。

為實現上述目的，根據本發明的一個方面，提供了基于數據的一種分布式ETL調度的方法，包括：

根據當前作業流的作業流配置表，確定當前作業流的數據源表；

依據所述數據源表查找所有作業流的作業流配置表，確定以所述數據源表作為數據結果表的依賴作業流；

當所述依賴作業流執行成功時執行所述當前作業流，并將所述當前作業流的執行數據保存至所述當前作業流的數據結果表；

其中，所述作業流配置表包括以下字段：作業流標識，數據源表的標識，數據結果表的標識。

可選地，所述作業流配置表還包括如下字段：業務日期和作業流狀態；

所述方法還包括：判斷所述依賴作業流的業務日期和作業流狀態是否滿足如下條件：所述依賴作業流的業務日期等于所述當前作業流的日期、且所述依賴作業流的作業流狀態為用于指示所述依賴作業流執行成功的狀態；若是，則判定所述依賴作業流執行成功；以及，

執行所述當前作業流之后，還包括：更新所述當前作業流的作業流配置表中的業務日期和作業流狀態。

可選地，所述作業流配置表還包括如下字段：時間觸發、事件觸發和作業流觸發；

根據當前作業流的作業流配置表，確定當前作業流的數據源表之前，還包括：確認所述當前作業流被觸發；其中，當所述當前作業流滿足如下任一條件時，判定所述當前作業流被觸發：

當前時間滿足所述時間觸發字段的字段值，所述事件觸發字段指示的事件被觸發，所述作業流觸發字段指示的所述當前作業流的前置作業流執行成功。

可選地，所述作業流配置表還包括如下字段：數據處理過程描述和數據結果表結構；所述當前作業流是按照如下步驟創建的：

依據用戶用于創建所述當前作業流輸入的關鍵詞查找所有作業流的作業流配置表，獲取與所述關鍵詞關聯的關聯作業流；

根據所述關聯作業流的作業流配置表中的數據處理過程描述和數據結果表結構，從所有所述關聯作業流的數據結果表中篩選所述當前作業流的數據源表；

創建所述當前作業流的作業流配置表，將所述當前作業流的數據源表的標識寫入所述當前作業流的作業流配置表，以創建所述當前作業流。