[發明專利]一種ETL流程調度的方法和裝置

有效

• 申請號: 202010782562.1
• 申請日: 2020-08-06
• 公開（公告）號: CN112148442B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 梅綱;高東升;黃海明;陳琦
• 申請（專利權）人: 武漢達夢數據庫股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F16/25
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 向彬

本發明涉及數據處理領域，特別是涉及一種ETL流程調度的方法和裝置。主要包括：創建延遲隊列；將需要定時執行的調度任務封裝為調度元素，放入延遲隊列中，調度元素包括調度時間、流程模型對象和調度模型對象；到達調度元素的調度時間時，從延遲隊列中取出調度元素，執行調度元素的流程模型對象；根據調度元素的調度模型對象類型，在預設時間節點計算調度元素的調度時間，若下一次調度時間為有效時間，將調度元素的調度時間修改為下一次調度時間并放回延遲隊列，以便于進行下一次調度。本發明通過延遲隊列以及流程調度模型對象列表，能夠很方便有效地管理流程周期性調度，確保流程調度運行的及時性及準確無誤。

技術領域

本發明涉及數據處理領域，特別是涉及一種ETL流程調度的方法和裝置。

背景技術

使用ETL進行數據處理、構建數據倉庫時，異構數據源的抽取、清洗轉換，加載的具體流程一般通過流程設計器來配置完成，并在服務端后臺周期性調度執行。

現有的ETL工具中，一般使用編程語言自帶的定時器Timer機制來管理流程的周期性調度，Timer對需要周期調度的流程模型對象進行間隔時間的計時，并在達到預定間隔時間后通知系統開始執行流程模型對象。但是，?Timer基本處理模型是單線程調度的任務隊列模型，當某個任務執行時間較長，會影響整個任務執行的實時性。同時，Timer任務如果拋出異常會導致整個Timer線程取消，無法再進行任務的調度。另外，還存在無法對任務隊列中的任務流程模型對象進行查詢和分析，無法動態調整有效的流程調度模型對象列表供流程對象周期性調度使用等問題。

鑒于此，如何克服該現有技術所存在的缺陷，避免使用Timer進行調度時存在的問題，是本技術領域待解決的問題。

發明內容

針對現有技術的以上缺陷或改進需求，本發明解決了使用Timer調度可能引起的調度時間間隔錯誤、調度實時性不夠的問題。

進一步的，還解決了ETL調度中流程模型對象和調度模型對象動態變化引起的有效的流程調度模型對象需同步變化的問題，無法對流程調度模型對象進行查詢的問題，以及無法處理異常的問題。

本發明實施例采用如下技術方案:

第一方面，本發明提供了一種ETL流程調度的方法，具體為：創建延遲隊列；將需要定時執行的調度任務封裝為調度元素，放入延遲隊列中，調度元素包括調度時間、流程模型對象和調度模型對象；到達調度元素的調度時間時，從延遲隊列中取出調度元素，執行調度元素的流程模型對象；根據調度元素的調度模型對象類型，在預設時間節點計算調度元素的調度時間，若下一次調度時間為有效時間，將調度元素的調度時間修改為下一次調度時間并放回延遲隊列，以便于進行下一次調度。

優選的，在預設時間節點計算調度元素的調度時間，具體包括：若調度元素的調度模型對象類型為固定時間點或每間隔時間，以當前調度時間為基準計算下一次調度的調度時間；若調度元素的調度模型對象類型為每隔間隔時間，等待流程模型對象執行完成，當流程模型對象執行完成時，以流程模型對象執行完成的時間為基準計算下一調度時間。

優選的，還包括流程調度模型列表和先前流程調度模型列表；當系統調度任務發生變化時，根據流程調度模型列表和先前流程調度模型列表對延遲隊列中相應的調度元素進行修改；將調度元素的調度時間修改為下一次調度時間并放回延遲隊列前，判斷需放回的調度元素是否存在于流程調度模型列表中；若調度元素所對應的流程調度模型對象存在于流程調度模型列表中，將調度元素放回延遲隊列中；若調度元素所對應的流程調度模型對象不存在于流程調度模型列表中，調度元素不放回延遲隊列中。