[發明專利]一種基于時間輪和拓撲排序的分布式任務調度方法及系統

在審

• 申請號: 202210825342.1
• 申請日: 2022-07-14
• 公開（公告）號: CN115202877A
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 梁鵬程;冼宇琛;雷偉富
• 申請（專利權）人: 大圣科技股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 廣州微斗專利代理有限公司 44390
• 代理人: 朱武

本發明涉及一種基于時間輪和拓撲排序的分布式任務調度方法，包括如下步驟：包括如下步驟：S1：進行作業組的批量配置，并將配置后的作業組保存至配置庫中，通過調度任務線程對配置庫進行作業組及作業運行狀態庫的更新，根據作業運行狀態庫進行作業信息的獲取并發送至消息隊列；S2：進行消息隊列中待執行的作業組信息的獲取，執行器根據服務器資源占比進行該作業組的執行狀態判定；S3：對所批量配置的作業組進行執行狀態的統計。本發明提供了一種基于時間輪和拓撲排序的分布式任務調度方法，解決了現有技術中大數據批量任務并發難、服務器資源不能得到充分利用的問題，同時還提高了任務處理的效率以及資源的利用率。

技術領域

本發明涉及大數據技術領域，具體涉及一種基于時間輪和拓撲排序的分布式任務調度方法及系統。

背景技術

任務調度隨著技術發展，從單線程調度到多線程調度，從單機部署到集群部署，從獨立執行到多任務分布式執行。目前基于分布式的大數據任務調度系統大部分基于Quartz框架開發，隨著大數據業務應用的加深，異構數據源越來越多，數據采集頻率越來越快，ETL定時任務數量與日俱增，任務的形態各種各樣，面對各式各樣的任務作業，有的采用數據庫腳本實現，有的使用批處理腳本來實現，從業務系統到作業系統，再到批量作業調度系統，各企業采用的批量作業調度方式不盡相同，目前大多數作業調度方式均采用分布式任務調度方式來進行實施，但目前采用分布式任務調度方法進行作業調度時往往存在許多問題，比如在調度過程中，服務器資源不能得到充分利用、任務不能并發執行等問題，因此，需要在現有技術的基礎上加以改進，提供一種能夠解決此問題的分布式任務調度方法。

發明內容

針對現有技術的不足，本發明提供了一種基于時間輪和拓撲排序的分布式任務調度方法，解決了現有技術中大數據批量任務并發難、服務器資源不能得到充分利用的問題，同時還提高了任務處理的效率以及資源的利用率。

為了實現本發明的目的，本發明提供一種基于時間輪和拓撲排序的分布式任務調度方法，包括如下步驟：

S1：進行作業組的批量配置，并將配置后的作業組保存至配置庫中，通過調度任務線程對配置庫進行作業組及作業運行狀態庫的更新，根據作業運行狀態庫進行作業信息的獲取并發送至消息隊列；

S2：進行消息隊列中待執行的作業組信息的獲取，執行器根據服務器資源占比進行該作業組的執行狀態判定；

S3：對所批量配置的作業組進行執行狀態的統計。

優選地,所述步驟S1中進行作業組的批量配置，并將配置后的作業組保存至配置庫中的具體步驟為：

進行作業組及作業組下多層級作業的批量配置，并將配置后的作業組及多層級作業的信息保存至配置庫中；

其中：作業組參數包括調度表達式和依賴作業組，作業參數包括kettle文件、預警規則、作業運行參數及路由策略。

優選地,所述步驟S1中根據作業運行狀態庫進行作業信息的獲取并發送至消息隊列的具體步驟為：

從作業運行狀態庫中獲取待執行的作業組信息，當獲取的作業組為依賴作業組時，采用拓撲排序算法對作業組進行順序排列，根據作業組的觸發時間戳進行取模并放入哈希表的時間槽，根據時間輪線程獲取哈希表中的作業組列表，并將獲取的作業組下的子作業信息發送至消息隊列。

優選地,所述步驟S1根據作業運行狀態庫進行作業信息的獲取還包括：

當獲取的作業組為無依賴作業組時，根據作業組的觸發時間戳與時間槽刻度取模后放入哈希表中的時間槽。

優選地,所述步驟S2中執行狀態判定具體包括：

當服務器資源占比大于第一預設值時，執行器拒絕執行當前作業組，并將當前作業組重新發送至消息隊列中；

當服務器資源占比小于第二預設值時，執行器正常執行當前作業組。