[發明專利]任務調度方法及裝置、存儲介質、終端

有效

• 申請號: 202011189452.0
• 申請日: 2020-10-30
• 公開（公告）號: CN112286661B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 許紅濤;王洪濤;王東;吳保杰;蔚趙春;李素;陳海洋;武璇
• 申請（專利權）人: 海通證券股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張振軍

一種任務調度方法及裝置、存儲介質、終端，所述方法包括：確定多個后續任務的前置執行任務，其中，在每個后續任務的前置執行任務中選取一個任務作為前置觸發任務；依次執行所述前置執行任務，如果執行成功，并且所述前置執行任務為前置觸發任務，則將所述前置執行任務的后續任務加入等待隊列；判斷所述等待隊列中各個后續任務的全部前置執行任務是否均已完成，將全部前置執行任務均已完成的后續任務，記為待執行后續任務，并所述待執行后續任務加入待執行隊列；確定執行數量，執行所述待執行隊列中所述執行數量個后續任務。本發明的技術方案能夠提高任務調度的效率和準確度。

技術領域

本發明涉及計算機技術領域，尤其涉及一種任務調度方法及裝置、存儲介質、終端。

背景技術

隨著證券交易市場的快速發展，交易業務種類和待處理數據量也隨之不斷增加，作為企業級的數據存儲和計算中心，數據平臺的批處理任務關系越來越復雜，時效性和正確性要求越來越高，導致留給數據平臺的處理時間窗口和應急時間窗口越來越小，這些都對數據平臺的批處理架構的高效性、高可用性和易維護性等方面提出了更高的要求。

在現有技術中，通常基于開源軟件二次開發或采用商用軟件進行任務調度。但由于目前基于開源軟件的調度方法采用基于任務流的調度方法，如oozie，azkaban等，均需要定義任務流中的各個任務之間的邏輯關系。這種調度方法中，不同任務流之間的耦合性較高，當任務數量和任務關系復雜增加時，準確清楚地定義任務流是十分困難的，如果無法準確定義任務流，容易在調度過程中出現錯誤。另外，基于開源軟件的調度方法通常僅提供核心的任務調度功能，輔助的任務開發、任務關系組織、任務狀態維護、任務監控、任務治理、服務監控、日志下載等諸多能力都比較欠缺，二次開發的工作量依舊很巨大。此外，商業軟件雖然成熟穩定，當任務關系復雜時，商業軟件也很難及時滿足各種復雜或個性化的調度和監控需求。

例如：Elastic-job任務調度系統采用的任務調度方法對任務間的依賴關系支持較弱，支持的任務類型比較單一，監控的范圍和粒度都不能滿足證券交易業務的需要。Airflow任務調度方法主要由PYTHON實現，任務的定義無法通過XML或者界面定義，只能依靠PYTHON定義，所以無法做到調度架構和應用業務的解耦合；另外，Airflow開源時間較短，調度性能較低，比較適用于簡單的ETL類的編排，所以易用性，穩定性和性能等方面都無法滿足當前和未來證券業務的發展。Dataflow任務調度方法根據批任務的生命周期長短不同，把應用處理分為流處理和任務處理，但是云調度性能不足，一個微服務的調度達到了分鐘級并且其次整體架構比較龐大，任務調度的效率較低。

故現有的任務調度方法無法解決任務數量不斷增加，任務之間的關系越來越復雜、任務監控和處理時效越來越高的需求場景，因此，亟需一種任務調度方法能夠滿足多樣復雜的調度需求，并提高任務調度的效率和準確度。

發明內容

本發明解決的技術問題是如何滿足多樣復雜的調度需求并提高任務調度的效率和準確度。

為解決上述技術問題，本發明實施例提供一種任務調度方法，所述方法包括：確定多個后續任務的前置執行任務，每個前置執行任務與一個或多個后續任務具有預設的映射關系，其中，在每個后續任務的前置執行任務中選取一個任務作為前置觸發任務；依次執行所述前置執行任務，如果執行成功，并且所述前置執行任務為前置觸發任務，則將所述前置執行任務的后續任務加入等待隊列；判斷所述等待隊列中各個后續任務的全部前置執行任務是否均已完成，對于全部前置執行任務均已完成的后續任務，記為待執行后續任務，并將所述待執行后續任務加入待執行隊列；確定執行數量，執行所述待執行隊列中所述執行數量個待執行后續任務。

可選的，在確定多個后續任務的前置執行任務之前，所述方法還包括：在每個后續任務的所有前置執行任務中，確定各個前置執行任務最后一個被執行的概率；確定所述概率最大的前置執行任務作為所述后續任務的前置觸發任務。