[發明專利]一種大數據任務調度方法

有效

• 申請號: 202011157921.0
• 申請日: 2020-10-26
• 公開（公告）號: CN112256418B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 胡亞軍;邵若梅;孫樹清
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

1.一種大數據任務調度方法，其特征在于：包括以下步驟：

S1、將多個大數據分析任務按它們的重要程度分為多個優先級，每個大數據分析任務均有各自的優先級，將相同優先級的大數據分析任務劃分至同一組，得到多組任務組，然后確定每組任務組中各個大數據分析任務的復雜度；

S2、在Hadoop計算集群中基于循環調度學習算法神經網絡構建任務調度子程，由任務調度子程將Hadoop計算集群的計算資源分配給各個大數據分析任務進行任務解析，任務調度子程分配過程如下：

按優先級將計算資源分配給多組任務組，計算資源的分配按優先級從高到低的順序而減少；

每組任務組中，根據各個大數據分析任務的復雜度，使復雜度大于預設閾值的若干個大數據分析任務分別獨占對應分配的計算資源進行解析，待復雜度大于預設閾值的若干個大數據分析任務解析完成后，其余大數據分析任務再使用對應分配的計算資源進行解析。

2.根據權利要求1所述的一種大數據任務調度方法，其特征在于：步驟S1中，各個大數據分析任務的優先級，根據其在業務方面的重要性進行劃分，重要性越高的優先級越高。

3.根據權利要求1所述的一種大數據任務調度方法，其特征在于：步驟S1中，各個大數據分析任務的優先級，根據其分析結論對業務指導的重要性進行劃分，重要性越高的優先級越高。

4.根據權利要求1所述的一種大數據任務調度方法，其特征在于：步驟S1中，各個大數據分析任務的復雜度，根據相同時間段內完成各個大數據分析任務解析理論上需要占用的計算資源量進行確定，占用計算資源量越大的復雜度越高。

5.根據權利要求1所述的一種大數據任務調度方法，其特征在于：步驟S1中，各個大數據分析任務的復雜度，根據完成大數據分析任務解析所需的代碼的事件復雜度、空間復雜度、需要調用的數據總量進行確定。

6.根據權利要求1所述的一種大數據任務調度方法，其特征在于：步驟S2每組任務組中，復雜度大于預設閾值的若干個大數據分析任務按串行順序依次獨占對應分配的計算資源進行解析，待復雜度大于預設閾值的若干個大數據分析任務解析完成后，其余大數據分析任務再按串行或并行順序使用對應分配的計算資源進行解析。

7.根據權利要求1所述的一種大數據任務調度方法，其特征在于：步驟S2每組任務組中所有大數據任務均完成解析后，其對應分配的計算資源進行釋放并用于其他大數據分析任務解析。

8.根據權利要求1所述的一種大數據任務調度方法，其特征在于：步驟S2中，Hadoop計算集群中利用計算資源完成每個大數據分析任務的解析后，將任務執行情況反饋至任務調度子程，任務調度子程根據任務執行情況進行自我學習，從而得到新的任務調度子程用于后續計算資源分配。