[發明專利]一種基于包管理的分布式數據作業調度的方法和系統

有效

• 申請號: 201910368543.1
• 申請日: 2019-05-05
• 公開（公告）號: CN110069334B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 呂云恒
• 申請（專利權）人: 重慶天蓬網絡有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 梁愛榮

1.一種基于包管理的分布式數據作業調度的方法，其特征在于，包括：

步驟S1、系統創建本地工作流任務，在創建的所述本地工作流任務中，通過拖拽操作來創建DAG流程圖；

步驟S2、根據創建的所述DAG流程圖設置調度規則，并提交設置的所述調度規則以進行任務審核；

步驟S3、所述系統后臺的守護程序不斷輪詢監聽線上周期任務，并定時生成次日全量工作流任務實例，以及所述工作流任務實例所依賴的關系數據，向執行引擎發送所述工作流任務實例的執行請求；

步驟S4、所述執行引擎接收所述工作流任務實例的執行請求，并排隊異步處理，通過解析工作流各子節點任務類型、參數變量數據，并觸發相應作業插件，執行任務節點代碼邏輯；

系統通過接口獲取所述異步處理執行工作流詳細日志；所述系統后臺的守護程序通過接口查詢所述工作流任務實例的執行狀態去刷新本地的所述工作流任務實例以及所述依賴的關系數據的執行狀態；

所述步驟S2中，進行任務審核具體包括：

系統對所提交的所述調度規則進行審核，若審核通過，則通過系統后臺創建遠端工作流任務，并執行步驟S3，若審核不通過，則結束，并返回步驟S1；

所述步驟S3中，還包括：記錄所述工作流任務實例的執行狀態數據，同時所述系統后臺的守護程序觸發執行滿足所述調度規則的所述工作流任務實例；

所述記錄所述工作流任務實例的執行狀態數據，具體包括：

記錄腳本內容、所述流程子節點的依賴的關系數據，形成線下工作流快照數據；

所述通過系統后臺創建遠端工作流任務，具體包括：

若審核通過，則通過系統后臺調用azkaban接口，以創建所述遠端工作流任務，所述遠端工作流任務包括刷新訪問Token、上傳zip包或創建工作流中的一種，所述遠端工作流任務支持版本機制以方便進行歷史任務運維；所述線下工作流快照數據和線上版本工作流數據均已存在，所述本地工作流任務和所述遠端工作流任務通過任務KEY+版本號作為唯一編碼串聯起來，等待系統后臺進行相關處理。

2.根據權利要求1所述的基于包管理的分布式數據作業調度的方法，其特征在于，所述步驟S1中用戶創建本地工作流任務，所述DAG流程圖中的流程子節點包括shell節點、HiveSQL節點、數據導出節點、MySQL節點、KEY節點中的一個或多個。

3.根據權利要求2所述的基于包管理的分布式數據作業調度的方法，其特征在于，所述KEY節點代表外部任務，所述外部任務包括本項目內的任務或者跨項目的任務，在本項目內的任務或者跨項目的任務中注入所述依賴的關系數據。

4.根據權利要求3所述的基于包管理的分布式數據作業調度的方法，其特征在于，設置的所述調度規則包括自動重跑、生效日期、起調時間、執行周期、間隔時間、任務自依賴中的一種或多種。

5.根據權利要求4所述的基于包管理的分布式數據作業調度的方法，其特征在于，所述執行周期包括小時、天、周、月，所述間隔時間包括間隔一小時、間隔兩小時或間隔N小時，N為正整數。

6.根據權利要求1所述的基于包管理的分布式數據作業調度的方法，其特征在于，所述系統后臺的守護程序不斷輪詢監聽線上周期任務，并定時生成次日全量工作流任務實例，具體包括：

所述系統后臺的守護程序不斷輪詢監聽線上周期任務，每天23點生成次日的全量工作流任務實例以及所述工作流任務實例所依賴的關系數據，并記錄所述工作流任務實例的執行狀態數據；

所述系統后臺的守護程序同時觸發執行滿足所述調度規則的所述工作流任務實例，向所述執行引擎發送所述工作流任務實例的執行請求。