[發明專利]分布式任務調度方法、系統、電子設備和存儲介質

在審

• 申請號: 202211247126.X
• 申請日: 2022-10-12
• 公開（公告）號: CN115629854A
• 公開（公告）日: 2023-01-20
• 發明（設計）人: 桑文鋒;曹犟;劉耀洲;付力力;余志輝
• 申請（專利權）人: 神策網絡科技（北京）有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 深圳紫藤知識產權代理有限公司 44570
• 代理人: 蘇蕾

1.一種分布式任務調度方法，其特征在于，所述方法應用在主節點，所述方法包括：

確定數據任務中待分配的子任務；

向協調節點發送任務查詢指令，所述任務查詢指令用于指示所述協調節點反饋各執行節點的任務執行信息；

根據各所述執行節點的任務執行信息，確定各所述執行節點的目標優先級；

根據各所述執行節點的目標優先級，確定各所述子任務對應的目標執行節點，將各所述子任務分配至所述各所述子任務對應的目標執行節點進行數據處理。

2.如權利要求1所述的分布式任務調度方法，其特征在于，所述確定數據任務中待分配的子任務包括：

向所述協調節點發送節點查詢指令，所述節點查詢指令用于指示所述協調節點反饋當前處于執行狀態的執行節點的數量；

若所述數量發生變化，則向各所述執行節點發送任務停止指令，所述任務停止指令用于指示所述執行節點停止處理已分配的子任務；

確定各所述執行節點的已分配的子任務的處理進度；

根據各所述執行節點的已分配的子任務的處理進度，確定數據任務中未處理的子任務，將所述數據任務中未處理器的子任務設置為待分配的子任務。

3.如權利要求1所述的分布式任務調度方法，其特征在于，所述確定數據任務中待分配的子任務包括：

向所述協調節點發送節點查詢指令，所述節點查詢指令用于指示所述協調節點反饋當前處于執行狀態的執行節點的數量；

若所述數量降低，則向所述協調節點發送節點下線查詢指令，將所述協調節點返回的已下線執行節點上已分配的子任務中未執行的子任務設置為數據任務中待分配的子任務；所述節點下線查詢指令用于指示所述協調節點反饋已下線執行節點，以及所述已下線節點上已分配的子任務；

若所述數量增加，則向各所述執行節點發送任務停止指令，確定各所述執行節點已分配的子任務的處理進度，根據各所述執行節點的已分配的子任務的處理進度，確定數據任務的中未處理的子任務，將所述數據任務中未處理器的子任務設置為待分配的子任務；所述任務停止指令用于指示所述執行節點停止處理已分配的子任務。

4.如權利要求1所述的分布式任務調度方法，其特征在于，所述根據各所述執行節點的任務執行信息，確定各所述執行節點的目標優先級包括：

根據各所述執行節點的任務執行信息，確定各所述執行節點的初始優先級；

若存在所述初始優先級相同的待排序執行節點，則獲取所述待排序執行節點的負載信息，根據所述待排序執行節點的負載信息，對所述待排序執行節點的初始優先級進行調整，得到優先級調整后的待排序執行節點；所述負載信息包括所述執行節點中處于相同數據任務的所執行任務的數量；

根據優先級調整后的待排序執行節點，得到各所述執行節點的目標優先級。

5.如權利要求1所述的分布式任務調度方法，其特征在于，所述各所述執行節點的目標優先級，確定各所述子任務對應的目標執行節點包括：

將第一子任務分配至目標優先級最大的執行節點，以進行數據處理；所示第一子任務為各所述子任務中任意一個子任務；

根據各所述執行節點的當前任務執行信息，更新各所述執行節點的目標優先級，得到各所述執行節點的新目標優先級；

將第二子任務分配至新目標優先級最大的執行節點，以此重復，直至各所述子任務分配完成；所述第二子任務為各所述子任務中除所述第一子任務外的任意一個子任務。

6.一種分布式任務調度方法，其特征在于，所述方法應用于協調節點，所述協調節點存儲有執行節點的注冊序號以及各所述執行節點的執行任務數據；所述方法包括：

接收主節點發送的任務查詢指令，根據所述任務查詢指令查詢各所述執行節點的執行任務數據，確定各所述執行節點的任務執行信息，向所述主節點反饋各執行節點的任務執行信息，以使主節點根據各所述執行節點的任務執行信息，確定各所述執行節點的目標優先級，根據各所述執行節點的目標優先級，確定各所述子任務對應的目標執行節點，將各所述子任務分配至所述各所述子任務對應的目標執行節點進行數據處理。