[發明專利]一種ETL流程調度的方法和裝置

有效

• 申請號: 202010782562.1
• 申請日: 2020-08-06
• 公開（公告）號: CN112148442B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 梅綱;高東升;黃海明;陳琦
• 申請（專利權）人: 武漢達夢數據庫股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F16/25
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 向彬

1.一種ETL流程調度的方法，其特征在于：

創建延遲隊列；

將需要定時執行的調度任務封裝為調度元素，放入延遲隊列中，所述調度元素包括調度時間、流程模型對象和調度模型對象；

到達調度元素的調度時間時，從延遲隊列中取出調度元素，執行調度元素的流程模型對象；

根據調度元素的調度模型對象類型獲取下一次調度的調度時間計算基準，在預設時間節點計算調度元素的調度時間，若下一次調度時間為有效時間，將調度元素的調度時間修改為下一次調度時間并放回延遲隊列，以便于進行下一次調度；

其中，當系統調度任務發生變化時，根據流程調度模型列表和先前流程調度模型列表對延遲隊列中相應的調度元素進行修改，再將調度元素的調度時間修改為下一次調度時間并放回延遲隊列。

2.根據權利要求1所述的ETL流程調度的方法，其特征在于，所述根據調度元素的調度模型對象類型獲取下一次調度的調度時間計算基準，具體包括：

若調度元素的調度模型對象類型為固定時間點或每間隔時間，以當前調度時間為基準計算下一次調度的調度時間；

若調度元素的調度模型對象類型為每隔間隔時間，等待流程模型對象執行完成，當流程模型對象執行完成時，以流程模型對象執行完成的時間為基準計算下一調度時間。

3.根據權利要求1所述的ETL流程調度的方法，其特征在于；

所述將調度元素的調度時間修改為下一次調度時間并放回延遲隊列前，還包括：

判斷需放回的調度元素是否存在于流程調度模型列表中；

若調度元素所對應的流程調度模型對象存在于流程調度模型列表中，將調度元素放回延遲隊列中；

若調度元素所對應的流程調度模型對象不存在于流程調度模型列表中，調度元素不放回延遲隊列中。

4.根據權利要求1所述的ETL流程調度的方法，其特征在于，所述根據流程調度模型列表和先前流程調度模型列表對延遲隊列中相應的調度元素進行修改，具體包括：

刷新流程調度模型列表和先前流程調度模型列表，所述流程調度模型列表中存放系統調度任務變化后的流程調度模型對象，所述先前流程調度模型列表中存放系統調度任務變化前的流程調度模型；

比較流程調度模型列表和先前流程調度模型列表中不同的流程調度模型對象；

若流程調度模型對象存在于流程調度模型列表中，但不存在于先前流程調度模型列表中，將該流程調度模型對象對應的調度元素添加進延遲隊列；

若流程調度模型對象不存在于流程調度模型列表中，但存在于先前流程調度模型列表中，將該流程調度模型對象對應的調度元素從延遲隊列中刪除。

5.根據權利要求4所述的ETL流程調度的方法，其特征在于：

還包括調度任務獲取線程；

所述調度任務獲取線程將需要定時調度的調度任務封裝為調度元素，放入延遲隊列中，并完成如權利要求4中的根據系統調度任務的變化對延遲隊列中相應的調度元素進行修改的方法。

6.根據權利要求1所述的ETL流程調度的方法，其特征在于：

還包括延遲隊列讀取線程；

所述延遲隊列讀取線程使用循環等待讀取的方式訪問延遲隊列，在到達調度元素的調度時間時，從延遲隊列中取出調度元素。

7.根據權利要求6所述的ETL流程調度的方法，其特征在于：

所述延遲隊列讀取線程從延遲隊列中取出調度元素后，以異步提交的方式執行調度元素對應的調度任務。

8.根據權利要求7所述的ETL流程調度的方法，其特征在于：

所述延遲隊列讀取線程還包括調度元素讀取接口，以便于對調度元素進行讀取。

9.根據權利要求7所述的ETL流程調度的方法，其特征在于：

還包括異常處理線程，異常處理線程通過調度元素讀取接口獲取調度元素的流程模型對象的調度狀態，對出現異常的流程模型對象對應的調度元素進行處理。

10.一種ETL流程調度的裝置，其特征在于：

包括至少一個處理器和存儲器，所述至少一個處理器和存儲器之間通過數據總線連接，所述存儲器存儲能被所述至少一個處理器執行的指令，所述指令在被所述處理器執行后，用于完成權利要求1-9任一所述的ETL流程調度的方法。