[發明專利]一種ETL任務執行方法、系統、裝置、服務器及存儲介質

在審

• 申請號: 202010807415.5
• 申請日: 2020-08-12
• 公開（公告）號: CN114077630A
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 吳穎
• 申請（專利權）人: 杭州康晟健康管理咨詢有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/23;G06F16/28;G06F9/48;G06F9/50;G06F9/54
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種ETL任務執行方法，其特征在于，包括：

調用ETL定時任務流程，其中，所述ETL定時任務流程包括依序設置的至少一個數據源控件和至少一個數據倉庫控件，其中，各所述數據源控件連接對應的數據源，各所述數據倉庫控件連接對應的數據倉庫；

在所述ETL定時任務流程的執行過程中，獲取流程更新指令；

當所述流程更新指令對應的更新對象不是當前執行對象時，執行所述流程更新指令，對所述ETL定時任務流程進行更新，其中，更新后的ETL定時任務流程在下一定時時刻執行。

2.根據權利要求1所述的方法，其特征在于，所述ETL定時任務流程基于預先設置的設計器生成，其中，設計器界面包括控件區、設計區、屬性區和日志區；

所述ETL定時任務流程的生成方法包括：

當檢測到所述控件區中的任一控件被選擇時，確定在所述設計區的目標位置，將被選擇的控件添加到所述設計區，其中，所述控件區包括數據源控件和數據倉庫控件；

在所述設計區中的任一控件被選擇時，接收所述屬性區采集的屬性信息，基于所述屬性信息對所述設計區中被選擇的控件進行屬性設置；

根據所述設計區中控件的類型和控件位置，確定對應的數據源或者數據倉庫，將所述對應的數據源或者數據倉庫接入對應控件，得到所述ETL定時任務流程。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

對所述ETL定時任務流程進行測試，并將測試日志顯示在所述日志區。

4.根據權利要求1所述的方法，其特征在于，所述流程更新指令包括如下至少一項：數據源切換指令、數據源增加指令、數據源刪除指令、數據倉庫切換指令、數據倉庫增加指令和數據倉庫刪除指令。

5.根據權利要求4所述的方法，其特征在于，所述執行所述流程更新指令，對所述ETL定時任務流程進行更新，包括：

當所述流程更新指令為所述數據源切換指令或者所述數據倉庫切換指令時，對所述流程更新指令中的對應控件解除與原數據源或者原數據倉庫的連接，并接入新的數據源或者數據倉庫；

當所述流程更新指令為所述數據源增加指令或者所述數據倉庫增加指令時，根據新增數據源或新增數據倉庫的執行位置，增加數據源控件或者數據倉庫控件，并對新增的數據源控件接入新增數據源或者對新增的數據倉庫控件接入新增數據倉庫；

當所述流程更新指令為所述數據源刪除指令或者所述數據倉庫刪除指令時，刪除所述流程更新指令對應的數據源控件或者數據倉庫控件。

6.根據權利要求1所述的方法，其特征在于，所述ETL定時任務流程設置有異步回調探針；

所述方法還包括：

在所述ETL定時任務流程的執行過程中，當檢測到異步回調探針時，根據所述異步回調探針所在位置，將對應數據進行異步回調，并存儲在預先設置的異步回調地址。

7.根據權利要求6所述的方法，其特征在于，所述探針的位置包括數據源控件之前或者數據源控件之后，相應的，進行異步回調的數據包括數據源中未處理數據或者處理后的數據。

8.根據權利要求6所述的方法，其特征在于，所述方法還包括：

當根據所述異步回調反饋信息確定異步回調失敗時，啟動回調線程，并基于所述回調線程進行預設時間間隔的重新回調，直到異步回調成功或者回調次數滿足預設閾值。

9.根據權利要求1所述的方法，其特征在于，所述調用ETL定時任務流程，包括：

獲取當前操作用戶的標識信息，基于所述標識信息確定所述當前操作用戶是否為所述ETL定時任務流程的授權用戶，若是，則調用所述ETL定時任務流程。