[發明專利]基于優先權的作業并發控制及調度算法

在審

• 申請號: 202011297804.4
• 申請日: 2020-11-19
• 公開（公告）號: CN112328383A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 李湘黔
• 申請（專利權）人: 湖南智慧暢行交通科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了基于優先權的作業并發控制及調度算法，包括作業并發控制模型、作業執行優先權算法及算法效益評估模型三部分，具體步驟如下：S1、作業并發控制模型：根據作業調度要求設計作業并發控制模型；S2、作業執行優先權算法：基于作業并發控制模型，結合作業執行優先權算法，計算優先執行作業清單，根據作業清單完成作業執行；S3、算法效益評估模型：通過作業調度算法效益評估模型，評估作業優先權算法合理性，根據評估結果優化優先權算法參數，多次迭代后找出最優算法配置。本發明基于多個項目實踐驗證，實用性強，魯棒性好；算法可落地性強，相比于業界已有方案，算法效率高，算法參數調整靈活，可動態修改參數適應優先權算法模型調整。

技術領域

本發明涉及大數據作業調度領域，尤其涉及基于優先權的作業并發控制及調度算法。

背景技術

針對大數據領域，在系統體量比較大，涉及的作業數量多(2+)，作業依賴關系復雜，作業種類較多，同時提供計算資源有限的情況下，保障每日批量作業執行能在規定的時間段內正常有序完成，是一件非常有挑戰性的工作。

首先分析一下作業并發執行的制約因素，主要涉及以下幾方面：1、作業執行時間段要求，一般為凌晨0～6點，共6個小時，時間段內需要保證平臺關鍵作業流程正常執行完成；2、作業調度平臺由于作業的多樣性，需要與多個周邊系統集成，為了不對周邊系統業務造成太大影響，需嚴格控制與外圍系統交互的作業并發度；3、針對平臺內部作業，受限于計算資源及業務保障需要，也需根據計算資源使用情況控制好作業并發數量；4、作業觸發執行規則：部分作業依賴于外圍系統事件，部分作業根據作業依賴觸發，部分作業定時觸發，總體來說，作業觸發執行時間不完全固定。

基于以上要求，要保證作業在既定并發規則的前提下盡量按時保質保量完成，需要一套作業調度算法，來實現作業執行過程中盡量充分均勻利用平臺計算資源，按照作業優先等級正常有序完成作業執行。

針對以上作業調度算法，目前業界已有部分解決方案，實現了靜態局部的作業并發調度。比如根據平臺/租戶/作業類型等逐級設定并發控制規則，結合作業配置的優先級來調度作業執行，這種方案在作業體量不太大，作業鏈路不是很復雜的情況下是能滿足系統要求的，但隨著作業體量及作業鏈路復雜度的不斷增加，同時平臺計算資源有限的情況下，由于作業調度控制規則較為固定單一，可能出現作業多時(同時滿足執行條件的作業數量)作業排隊嚴重、系統繁忙，作業少時(依賴未滿足或者觸發時間未到)系統空閑，作業長時間等待執行，關鍵作業鏈路延后執行等情況，從而導致作業跑批未能按時完成，對業務造成影響。

因此，針對大型的作業調度系統，研究一套自動靈活可落地的作業調度方案，來保障批量作業按時正常有序完成非常有意義，因此，我們提出了基于優先權的作業并發控制及調度算法。

發明內容

本發明提出的基于優先權的作業并發控制及調度算法，解決了上述背景技術中提出的問題。

為了實現上述目的，本發明采用了如下技術方案：

基于優先權的作業并發控制及調度算法，包括作業并發控制模型、作業執行優先權算法及算法效益評估模型三部分，具體步驟如下：

S1、作業并發控制模型：根據作業調度要求設計作業并發控制模型；

S2、作業執行優先權算法：基于作業并發控制模型，結合作業執行優先權算法，計算優先執行作業清單，根據作業清單完成作業執行；

S3、算法效益評估模型：作業完成后，通過作業調度算法效益評估模型，評估作業優先權算法合理性，根據評估結果優化優先權算法參數，多次迭代后找出最優算法配置。