[發明專利]一種分布式任務調度方法、裝置、終端設備及存儲介質

在審

• 申請號: 202011443427.0
• 申請日: 2020-12-11
• 公開（公告）號: CN112463390A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 蔡斌冰;彭琪偉;段思欣
• 申請（專利權）人: 廈門市美亞柏科信息股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48;G06N20/00
• 代理公司: 廈門市精誠新創知識產權代理有限公司 35218
• 代理人: 蔡金塔

1.一種分布式任務調度方法，其特征在于，包括以下步驟：

S1.在分布式系統的所有集群節點中，根據選舉算法，會有一個節點晉升為主節點，該主節點負責管理集群節點的元信息，包括節點規劃模塊和任務分配模塊；

S2.在分布式系統啟動階段，節點規劃模塊根據節點資源情況將集群的節點規劃成充足資源類、正常資源類和緊張資源類三大類，同時根據節點的負載情況，進一步將節點分成高負載節點，正常負載節點，以及空閑節點三類；

S3.在分布式系統運行過程中，節點規劃模塊會定期根據節點的資源狀況對節點進行重新劃分資源類別，以及根據節點的負載情況判斷節點的負載類型；

S4.當分布式集群遇到故障時，節點規劃模塊會重新執行步驟S3；

S5.在作業執行過程中，作業會被分成很多任務片，任務分類模塊根據任務的各項需求指標，運用機器學習算法對任務進行分類，最終發送任務至指定資源類型中的指定節點上；

S6.當某個任務執行失敗時，任務分類模塊會重新評估任務的各項指標，并為其分配適合的隊列；

S7.當集群的某個節點處于空閑狀態時，該節點可利用心跳通知主節點為其分配合適的任務。

2.如如權利要求1所述的分布式任務調度方法，其特征在于，步驟S1還包括：配置一個節點作為主節點的備份節點，負責主節點的容錯工作。

3.如權利要求1所述的分布式任務調度方法，其特征在于，步驟S2還包括配置充足資源類、正常資源類和緊張資源類三類節點的數量占比。

4.如權利要求1所述的分布式任務調度方法，其特征在于，S2-S4中根據節點資源情況將集群的節點規劃成充足資源類、正常資源類和緊張資源類三大類的計算公式如下：

score＝CPU*30％+Memory*30％+Time*40％，

其中，score為資源量的最終成績，CPU表示CPU資源量，Memory表示內存資源量，Time表示網絡延遲；S2-S4中根據節點的負載情況將節點分成高負載節點、正常負載節點和空閑節點三類的計算公式如下：

load＝CPU*30％+Memory*30％+Disk*20％+Network*20％，

其中，load表示負載情況，CPU表示所有內核的總處理器利用率，Memory表示活動進程占用的物理內存，Disk表示所有物理驅動器的總利用率，Network表示當前主要網絡上的網絡利用率。

5.如權利要求4所述的分布式任務調度方法，其特征在于，當分布式系統中添加新節點或者更新節點資源時，節點規劃模塊會計算節點資源量的最終得分，根據得分將節點劃入對應的類別中。

6.如權利要求1所述的分布式任務調度方法，其特征在于，步驟S5還包括：客戶端提交的作業被拆分成多個任務之后，任務和分布式系統節點之間，使用多隊列緩存的形式管理，主節點根據集群中節點的現狀分配隊列中的任務，保證任務正常完成。

7.如權利要求6所述的分布式任務調度方法，其特征在于，在隊列緩存中，任務分類模塊會自適應地調整隊列大小。

8.一種分布式任務調度裝置，其特征在于，包括任務分類模塊和節點管理模塊，其中，任務分類模塊用于負責任務分片的管理及分類功能，當客戶端提交作業后，在分布式系統中，作業會被分成若干個任務分片，任務分類模塊會評估任務分片的信息并根據評估的任務分片信息對任務分片進行分類，任務分片被正確劃分之后，任務分類模塊將其推入隊列緩存的指定任務隊列中；節點規劃模塊用于負責節點的管理及任務分配功能，分布式系統通過選主算法推舉出一個主節點，并設置一個備份節點用于輔助主節點，節點規劃模塊根據節點信息將節點劃分為三大類：充足資源類節點、正常資源類節點以及緊張資源類節點，在分布式系統運行過程中，節點規劃模塊根據節點的負載情況，將節點再次細分成高負載節點，正常負載節點和空閑節點三類，根據當前請求的任務所屬隊列以及集群節點劃分情況，把任務指派到合適的節點上執行，當分布式系統中某個節點處于空閑或者低負載狀態下時，它會通過心跳向主節點反饋，主節點同樣會從合適的隊列中為其指派任務。