[發明專利]分布式計算系統中資源調度的方法和裝置

有效

• 申請號: 201910581172.5
• 申請日: 2019-06-29
• 公開（公告）號: CN112148471B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 王力;劉懷忠;何偉
• 申請（專利權）人: 華為技術服務有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 張欣;王君

1.一種分布式計算系統中資源調度的方法，其特征在于，包括：

獲取所述分布式計算系統中待處理的批任務中每個spark任務的累積分配資源，所述累積分配資源為所述批任務中每個spark任務在執行期間得到的資源關于執行時間的積分；

根據所述批任務中每個spark任務的累積分配資源，為所述批任務中每個spark任務分配執行器。

2.如權利要求1所述的方法，其特征在于，所述分布式計算系統包括第一任務集合和第二任務集合，所述第一任務集合中的任務通過第一執行器集合中的執行器執行，所述第二任務集合中的任務通過第二執行器集合中的執行器執行，所述第一執行器集合中的執行器的規格與所述第二執行器集合中執行器的規格不同，

所述根據所述批任務中每個spark任務的累積分配資源，為所述批任務中每個spark任務分配執行器，包括：

根據所述批任務中每個spark任務的累積分配資源，將所述批任務中每個spark任務劃分至所述第一任務集合或所述第二任務集合，使得所述第一任務集合中每個spark任務的累積分配資源高于所述第二任務集合中每個spark任務的累積分配資源；

從所述第一執行器集合中為所述第一任務集合中的spark任務分配執行器；

從所述第二執行器集合中為所述第二任務集合中的spark任務分配執行器。

3.如權利要求2所述的方法，其特征在于，所述方法還包括：

獲取目標任務集合中spark任務的任務特征，所述目標任務集合為所述第一任務集合或所述第二任務集合；

根據所述目標任務集合中spark任務的任務特征，以及預配置的多個候選資源配置參數，通過Q-learning模型確定所述目標任務集合的資源配置參數。

4.如權利要求1-3中任一項所述的方法，其特征在于，所述方法還包括：

若所述批任務中的第一spark任務執行失敗，將所述第一spark任務存儲到逃逸隊列中。

5.一種分布式計算系統中資源調度的方法，其特征在于，包括：

獲取所述分布式計算系統中待執行的第一spark任務的計算資源消耗趨勢，所述計算資源消耗趨勢用于指示所述第一spark任務在執行過程中消耗的所述分布式計算系統的計算資源的使用量隨時間的變化；

在所述第一spark任務的執行過程中，根據所述第一spark任務的所述計算資源消耗趨勢，調整為所述第一spark任務分配的分布式系統的計算資源；

所述計算資源消耗趨勢包括所述第一spark任務在執行過程中消耗的所述分布式計算系統的計算資源的使用量的波峰和波谷，其中，在所述波峰出現的第一時間段內為所述第一spark任務分配的所述分布式系統的第一計算資源大于在所述波谷出現的第二時間段內為所述第一spark任務分配的所述分布式系統的第二計算資源；

所述根據所述第一spark任務的所述計算資源消耗趨勢，調整為所述第一spark任務分配的分布式系統的計算資源，包括：

根據所述第一spark任務的所述計算資源消耗趨勢，確定所述第一spark任務的第一計算資源調整時刻，所述第一計算資源調整時刻位于所述第一時間段與所述第二時間段之間；

當所述spark任務的執行時間為所述第一計算資源調整時刻時，根據所述第一計算資源以及所述第二計算資源，調整為所述第一spark任務分配的所述分布式系統的計算資源。

6.如權利要求5所述的方法，其特征在于，所述第一spark任務存儲在第一等待隊列中，所述第一等待隊列為所述分布式計算系統包括多個等待隊列中的一個等待隊列，所述多個等待隊列中不同的等待隊列中存儲的spark任務的計算資源調整時間不同，同一個等待隊列中存儲的多個spark任務的計算資源調整時間相同。