[發明專利]一種用于分布式資源需求及分配的系統和方法

在審

• 申請號: 201880060991.9
• 申請日: 2018-09-19
• 公開（公告）號: CN111108480A
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 辛恩·安東尼·伯格斯瑪;雷扎·普努納吉
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種計算機實現方法，用于分配分布式計算集群中的資源，以在所述分布式計算集群中執行分布式計算作業，其特征在于，所述計算機實現方法包括：

獲得時長信息，所述時長信息指示執行所述分布式計算作業的分布式計算階段中的一個或多個任務中的每個任務所用的時間；

基于所述時長信息將所述一個或多個任務劃分為一個或多個組并為所述一個或多個組中的每個組確定資源需求；

基于所述一個或多個組中的每個組的所述資源需求，為所述階段確定所述分布式計算集群的所述資源的時變分配額。

2.根據權利要求1所述的計算機實現方法，其特征在于，獲得所述時長信息包括：從所述階段的一次或多次歷史運行中獲得輸入數據，并從所述輸入數據中提取所述時長信息。

3.根據權利要求2所述的計算機實現方法，其特征在于，所述輸入數據一直保持不變，所述輸入數據的量低于預定閾值，并且進一步地，為所述一個或多個任務中的所有任務提取時長信息。

4.根據權利要求2所述的計算機實現方法，其特征在于，所述輸入數據一直保持不變，所述輸入數據的量高于預定閾值，并且進一步地，為隨機選擇的與所述一個或多個任務相關聯的時長提取時長信息。

5.根據權利要求2所述的計算機實現方法，其特征在于，所述輸入數據一直保持不變，所述輸入數據的量高于預定閾值，并且進一步地，為預定數量的與所述一個或多個任務相關聯的時長提取時長信息。

6.根據權利要求2所述的計算機實現方法，其特征在于，所述輸入數據一直保持不變，所述輸入數據的量高于預定閾值，并且進一步地，提取所述時長信息包括：應用流數據技術獲得分級時長信息。

7.根據權利要求2所述的計算機實現方法，其特征在于，所述輸入數據呈現出至少一種時變模式；并且進一步地，提取所述時長信息包括：

從所述輸入數據中為所述階段的所述一次或多次歷史運行中的每次歷史運行獲得歷史百分位時長信息；

基于所述歷史百分位時長信息為每個階段的至少一次未來運行預報預測的百分位時長信息。

8.根據權利要求1至7任一項所述的計算機實現方法，其特征在于，將在一個或多個計算槽位中執行所述一個或多個任務，并且進一步地，將所述一個或多個任務劃分為一個或多個組包括：確定所述一個或多個組的分區，其中，所述分區滿足所述一個或多個組的所需數量并使所述一個或多個計算槽位的合計面積最小。

9.根據權利要求8所述的計算機實現方法，其特征在于，確定所述一個或多個組的所述分區包括：應用動態規劃技術將表示所述合計面積的成本函數最小化。

10.根據權利要求8所述的計算機實現方法，其特征在于，將所述一個或多個任務劃分為一個或多個組包括：

(a)計算所述一個或多個計算槽位的第一合計面積，并將所述一個或多個任務劃分為第一數量的所述一個或多個組；

(b)按預定步長增加所述第一數量得到所述一個或多個組的第二數量；

(c)計算所述一個或多個計算槽位的第二合計面積，并將所述一個或多個任務劃分為所述第二數量的所述一個或多個組；

(d)計算所述第一合計面積與所述第二合計面積的差值，并將所述差值與預定閾值相比較；

(e)如果確定所述差值在所述閾值范圍內，將所述第一數量設為所述所需數量；

(f)如果確定所述差值超出所述閾值，按所述預定步長增加所述第二數量得到所述一個或多個組的第三數量，將所述第二數量設為所述第一數量，將所述第三數量設為所述第二數量，并重復執行步驟(a)至(f)。

11.根據權利要求1至10任一項所述的計算機實現方法，其特征在于，確定所述資源需求包括：為所述一個或多個組中的每個組確定所述一個或多個任務中的若干任務、平均任務時長及最大任務時長。