[發明專利]基于分布式調度系統的任務調度方法、服務器及存儲介質

在審

• 申請號: 201810546967.8
• 申請日: 2018-05-31
• 公開（公告）號: CN108762931A
• 公開（公告）日: 2018-11-06
• 發明（設計）人: 孫志博
• 申請（專利權）人: 康鍵信息技術（深圳）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明提供了一種基于分布式調度系統的任務調度方法、裝置及存儲介質，該方法接收大批量的任務調度請求，根據請求批量創建定時任務，將每個任務的相關信息存儲至消息隊列。之后，該方法接收消息隊列中的任務，按預設的方式將各任務下發至相應的主機執行，并實時監控各任務的執行狀態。若某任務執行失敗，則按預設的任務重啟規則自動觸發執行該任務的主機再次執行該任務，若再次觸發執行失敗，則負載均衡設備在該任務中寫入執行狀態標識信息后將該任務轉發至其它主機執行，直至該任務執行成功，將該任務執行結果以日志形式存儲至數據庫。利用本發明，能夠實現大批量分布式調度任務的調度，提升分布式系統的吞吐量。

技術領域

本發明涉及計算機技術領域，尤其涉及一種基于分布式調度系統的任務調度方法、服務器及計算機可讀存儲介質。

背景技術

在互聯網、云計算、大數據時代，任務的處理方面存在大數據、高并發的特點。分布式任務調度系統主要是為了在協調多節點處理相同任務時，避免數據被重復處理。通過集群的節點分擔大批量任務的處理，提高批量任務的處理效率。

現有分布式調度系統是基于數據庫實現任務調度的，系統中執行任務的節點將任務的相關信息逐一寫入數據庫，各個節點的調度器都遵守一個基于數據庫鎖的操作規則以保證操作的唯一性，但這種調度策略存在一定的局限性：集群特性對于高CPU使用率的任務效果很好，但是對于大量的短任務，各個節點都會搶占數據庫鎖，這樣就出現大量的線程等待資源。且這種情況隨著節點的增加會越來越嚴重。

發明內容

鑒于以上內容，本發明提供一種基于分布式調度系統的任務調度方法、服務器及計算機可讀存儲介質，其主要目的在于合理調度任務，提高任務調度可靠性，提升分布式調度系統的吞吐量。

為實現上述目的，本發明提供一種基于分布式調度系統的任務調度方法，該方法包括：

創建步驟：接收大批量的任務調度請求，根據任務調度請求批量創建定時任務，將每個定時任務的相關信息以消息的方式存儲至消息隊列；

監控步驟：接收消息隊列中的定時任務，按預設的方式將各定時任務下發至相應的主機執行，并實時監控各定時任務的執行狀態；

執行步驟：若某定時任務執行失敗，則按預設的任務重啟規則自動觸發執行該定時任務的主機再次執行該定時任務，若按預設的任務重啟規則再次觸發執行該定時任務仍然返回失敗狀態，則負載均衡設備在該定時任務中寫入執行狀態標識信息后將該定時任務轉發至其它主機執行，直至該定時任務執行成功，將該定時任務執行結果以日志形式存儲至數據庫。

優選地，所述預設的任務重啟規則包括：

設置重啟次數的閾值，在該定時任務的有效時間內每隔預設時間觸發執行該任務，直至該定時任務成功或達到重啟次數的閾值。

優選地，所述預設的方式包括：

根據可用主機的數量，將定時任務或任務組均勻分配至各個主機執行，或者根據定時任務數量與主機數量通過取模取余的方式分配至各主機執行，或者將定時任務分配至當前負載最低的一臺或多臺主機執行。

優選地，所述創建步驟包括：

將創建的定時任務按照預設的劃分規則進行劃分任務組，設置每個任務組中任務的觸發時間周期或執行時間。

優選地，所述執行狀態標識信息包括之前執行該定時任務的主機地址、執行失敗的時間、重啟次數及執行失敗的原因。

優選地，該方法還包括步驟：若達到有效時間或重啟次數的閾值，該定時任務未執行成功或完畢，則反饋執行失敗的結果至負載均衡設備。

此外，本發明還提供一種服務器，該服務器包括：存儲器、處理器及顯示器，所述存儲器上存儲任務調度程序，所述任務調度程序被所述處理器執行，可實現如下步驟：