[發明專利]一種分布式定時任務調度方法及系統

在審

• 申請號: 202111462653.8
• 申請日: 2021-12-02
• 公開（公告）號: CN114168283A
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 金凱峰;孔穎
• 申請（專利權）人: 北京千帆閱文科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F9/54
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 胡樂

本申請公開了一種分布式定時任務調度方法及系統。該首先獲取用戶提交的目標任務集合，生成對應的目標任務集合標識，將目標任務集合解析并寫入進數據庫，并將目標任務集合標識通過消息隊列發送給任務調度器集群；任務調度器集群獲取當前可用的任務執行器地址，將目標任務集合下發到任務執行器集群中，并將負載狀態上報給監聽器集群；任務執行器集群獲取并執行目標任務集合中的各個任務，并將負載狀態上報給監聽器集群；監聽器集群根據任務調度器集群與任務執行器集群的負載狀態對任務執行器集群進行擴縮容。通過任務調度器集群與任務執行器集群的伸縮擴展保做到了任務執行的高可用以及高性能。

技術領域

本發明涉及定時任務調度領域，特別涉及一種分布式定時任務調度方法及系統。

背景技術

互聯網技術的發展和業務場景的不斷豐富，定時任務已經成為支持業務正常運轉不可或缺的基礎。各類業務的定時任務執行邏輯存在著很大的不同，但是任務的注冊、下發以及調度執行過程是與業務無關的，完全可以作為獨立的服務進行設計與部署。

公司業務有各類定時或者延時任務需要執行，比如定時郵件報表，重復定時檢測程序執行狀態，延時推送各類APP消息等。這些任務數量龐大，要保證執行的準確性和時效性，對于單機來說由于受限于軟硬件資源，這是一件幾乎不可能完成的事情。傳統的基于單機模式的定時任務調度系統已滿足不了業務的變化和需求。

發明內容

基于此，本申請實施例提供了一種分布式定時任務調度方法及系統，實現了定時任務的管控服務、觸發執行、統一配置管理、任務負載均衡等業務模塊。

第一方面，提供了一種分布式定時任務調度方法，該方法包括：

獲取用戶提交的目標任務集合，生成對應的目標任務集合標識，其中所述目標任務集合中包含至少一個任務；

將所述目標任務集合解析并寫入進數據庫，并將目標任務集合標識通過消息隊列發送給任務調度器集群；

任務調度器集群獲取Zookeeper中注冊的當前可用的任務執行器地址，通過所述目標任務集合標識將所述數據庫中的目標任務集合下發到任務執行器集群中，并將所述任務調度器集群的負載狀態上報給監聽器集群；

任務執行器集群獲取并執行所述目標任務集合中的各個任務，并將所述任務執行器集群的負載狀態上報給監聽器集群；

監聽器集群根據所述任務調度器集群的負載狀態與預設調度閾值對所述任務調度器集群進行擴縮容；根據所述任務執行器集群的負載狀態與預設執行閾值對所述任務執行器集群進行擴縮容。

可選地，將所述目標任務集合解析寫入進數據庫，包括：

通過parse engine對所述目標任務集合進行配置文件解析，并將解析后的目標任務集合存入數據庫。

可選地，在任務調度器集群獲取Zookeeper中注冊的當前可用的任務執行器地址之前，所述方法還包括：

監聽器集群通過Zookeeper的API接口在Zookeeper中注冊的當前可用的任務執行器列表，所述任務執行器列表中包括任務執行器地址。

可選地，所述Zookeeper通過Watcher機制監控任務執行器列表里數據的變化，并始終將最新的任務執行器列表下發到任務調度器集群，任務調度器集群根據最新的任務執行器列表中的可用任務執行器進行任務指派。

可選地，所述目標任務集合包括集合狀態，目標任務集合中的任務包括任務狀態，通過所述集合狀態和所述任務狀態上報任務執行進度；

其中，所述集合狀態和任務狀態均至少包括初始狀態、接受狀態，執行中狀態、失敗狀態、取消狀態以及成功狀態。

可選地，監聽器集群根據所述任務執行器集群的負載狀態與預設執行閾值對所述任務執行器集群進行擴縮容，包括：