[發明專利]任務調度方法、裝置及系統、計算機可讀存儲介質

在審

• 申請號: 202010432608.7
• 申請日: 2020-05-20
• 公開（公告）號: CN113703930A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 尹翔
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 顏晶

本申請公開了一種任務調度方法、裝置及系統、計算機可讀存儲介質，屬于計算機技術領域。調度設備接收第一用戶發送的任務調度請求，該任務調度請求中包括待調度任務。調度設備基于目標黑名單，確定運行待調度任務的一個或多個目標執行設備，目標黑名單中包括全局黑名單和/或用戶黑名單，目標執行設備不在全局黑名單和第一用戶對應的用戶黑名單中。調度設備向一個或多個目標執行設備分配待調度任務。通過在調度設備中設置全局黑名單和/或用戶黑名單，將發生故障或自身存在性能問題的執行設備加入全局黑名單，將對某個用戶提交的任務多次運行失敗的執行節點加入該用戶對應的用戶黑名單中，可以提高任務調度系統的調度成功率。

技術領域

本申請涉及計算機技術領域，特別涉及一種任務調度方法、裝置及系統、計算機可讀存儲介質。

背景技術

分布式任務調度系統一般是指以時間觸發或者事件觸發的方式在計算機上執行相應任務的系統。分布式任務調度系統中包括調度設備(scheduler)和執行設備(executor)。調度設備用于為執行設備分配任務，執行設備用于運行調度設備分配的任務。在分布式任務調度系統中，調度設備可以將一個任務拆分為多個子任務，并將多個子任務下發至多個執行設備，供多個執行設備同步運行，從而提高任務在系統中的運行效率。

分布式任務調度系統中的執行設備中運行的子任務存在運行失敗的可能。當執行設備中的子任務運行失敗時，調度設備確定對該子任務調度失敗，調度設備需要將該子任務下發至其它執行設備中運行。目前，通常在分布式任務調度系統中設置任務運行的失敗數量閾值。當調度設備檢測到執行設備中運行的某一任務的子任務的失敗數量達到失敗數量閾值時，調度設備會將該執行設備加入該任務的黑名單中，即調度設備不再將該任務的子任務下發至該執行設備中運行。

但是，在分布式任務調度系統中的某一任務的黑名單中的執行設備，可能執行設備自身存在性能問題，該執行設備運行其它任務的子任務時也會失敗，導致分布式任務調度系統的調度成功率較低。

發明內容

本申請提供了一種任務調度方法、裝置及系統、計算機可讀存儲介質，可以解決分布式任務調度系統的調度成功率較低的問題。

第一方面，提供了一種任務調度方法。該方法包括：調度設備接收第一用戶發送的任務調度請求，該任務調度請求中包括待調度任務。調度設備基于目標黑名單，確定運行待調度任務的一個或多個目標執行設備，目標黑名單中包括全局黑名單和/或用戶黑名單，目標執行設備不在全局黑名單中，目標執行設備不在第一用戶對應的用戶黑名單中。調度設備向一個或多個目標執行設備分配待調度任務。

本申請中，通過在調度設備中設置全局黑名單，當執行設備發生故障或自身存在性能問題導致無法運行任務時，將該執行設備加入全局黑名單，則調度設備后續不會給該執行設備分配任務，可以避免調度設備給該執行設備分配任務而導致任務失敗，從而提高了任務調度系統的調度成功率。通過在調度設備中設置用戶黑名單，由于同一用戶提交的任務通常具有相似性，調度設備可以將對某個用戶提交的任務多次運行失敗的執行節點加入該用戶對應的用戶黑名單中，則調度設備后續不會給該執行設備分配該用戶提交的任務，可以避免調度設備給該執行設備分配該用戶提交的任務而導致任務失敗，從而提高了任務調度系統的調度成功率。

可選地，目標黑名單中包括全局黑名單，該方法還包括：調度設備接收第一執行設備發送的全局黑名單加入請求，該全局黑名單加入請求中包括第一執行設備的設備標識。調度設備基于全局黑名單加入請求，將第一執行設備添加至全局黑名單中。

可選地，調度設備基于全局黑名單加入請求，將第一執行設備添加至全局黑名單中的實現過程，包括：調度設備向第一執行設備發送第一測試任務。當第一執行設備運行第一測試任務失敗時，調度設備將第一執行設備添加至全局黑名單中。當第一執行設備運行第一測試任務成功時，調度設備不將第一執行設備添加至全局黑名單中。