[發明專利]分布式任務調度方法及其系統、存儲介質、電子設備

在審

• 申請號: 201810094656.2
• 申請日: 2018-01-31
• 公開（公告）號: CN108287764A
• 公開（公告）日: 2018-07-17
• 發明（設計）人: 孫傲林;蔣一新
• 申請（專利權）人: 上海攜程商務有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 臧云霄;周駿

本發明揭示了分布式任務調度方法及其系統、存儲介質、電子設備。所述分布式任務調度系統包括至少一任務生產者、至少一任務消費者、注冊中心以及管理中心，所述分布式任務調度方法包括如下步驟：任務生產者和任務消費者分別向注冊中心進行注冊；注冊中心將所有任務生產者和任務消費者的注冊信息發送至管理中心，管理中心緩存任務生產者和任務消費者的信息；由一任務生產者生成任務列表，并將任務列表推送至管理中心；管理中心接收并落地任務列表；管理中心設置任務分配規則，并實時根據任務分配規則分配各項任務；任務消費者接收管理中心分配的任務；任務消費者處理任務后，反饋任務處理的結果至管理中心。

技術領域

本發明涉及一種分布式任務調度方法及其系統、存儲介質、電子設備。

背景技術

當前，在很多大型互聯網企業的任務調度系統中越來越多的地方需要使用定時觸發任務的功能，譬如：定時刷新緩存，定時遷移數據等。由于之前的任務處理的作業量不大，任務處理的時間短，因此，可以采用分布式鎖或Active-Standby選舉的方式來實現任務調度系統中只有單個服務器處理任務。但是，隨著任務的越來越多，數據越來越大，現有任務調度系統的任務處理量也日漸增加，任務處理的時間也越來越長，無法滿足數據處理的需求。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種分布式任務調度方法及其系統、存儲介質、電子設備，可以降低任務的處理時長，提高任務的效率和成功率，并且還能夠實時監控任務，管理任務的調度。提高系統中服務器的利用率，保證服務器的負載均衡。

根據本發明的一個方面提供一種分布式任務調度方法，所述分布式任務調度方法用于分布式任務調度系統的任務調度，所述分布式任務調度系統包括至少一任務生產者、至少一任務消費者、注冊中心以及管理中心，所述分布式任務調度方法包括如下步驟：S10：所述任務生產者和所述任務消費者分別向所述注冊中心進行注冊；S20：所述注冊中心將所有所述任務生產者和所述任務消費者的注冊信息發送至所述管理中心，所述管理中心緩存所述任務生產者和所述任務消費者的信息；S30：由一所述任務生產者生成任務列表，并將所述任務列表推送至所述管理中心；S40：所述管理中心接收并落地所述任務列表；S50：所述管理中心設置任務分配規則，并實時根據所述任務分配規則分配各項任務；S60：所述任務消費者接收所述管理中心分配的任務；S70：所述任務消費者處理任務后，反饋任務處理的結果至所述管理中心。

優選地，多個所述任務生產者之間才用主—備方式進行切換，同一時刻僅有一個所述任務生產者在工作。

優選地，所述步驟S30還包括如下步驟：S301：所述任務生產者生成至少一待處理任務；S302：將所述待處理任務拆分為多個子任務，多個所述子任務形成一任務列表；S303：將所述任務列表推送至所述管理中心；S304：向所述注冊中心發出取消注冊的消息。

優選地，所述注冊中心接收所述任務生產者或所述任務消費者發出的取消注冊的消息后，將該取消注冊的消息轉發至所述管理中心，所述管理中心接收到該取消注冊的消息后等待一秒后，選擇另一個所述任務生產者接收任務列表或選擇另一個所述任務消費者分配任務。

優選地，所述管理中心包括Rest接口，所述管理中心通過所述Rest接口接收所述任務生產者發出的任務列表、接收所述任務生產者反饋的任務處理的結果，并且發出啟動或者停止的指令。

優選地，在所述步驟S70中，任務消費者通過ACK控制字符反饋任務處理的結果發送至所述注冊中心，并且通過所述注冊中心修改所述管理中心的當前任務狀態信息。

優選地，所述注冊中心為Zookeeper。