[發明專利]一種資源分配方法、相關設備及系統

有效

• 申請號: 201610878801.7
• 申請日: 2016-09-30
• 公開（公告）號: CN107885595B
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 黃國位;鄧利群;魏建生
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種基于映射/歸約MapReduce的分布式系統，其特征在于，所述系統包括管理節點和多個目標計算節點，其中：

所述管理節點用于獲取M個計算任務并根據所述M個計算任務的數據大小建立資源評估模型；將所述M個計算任務中的部分計算任務和所述資源評估模型的信息發送給目標計算節點，所述部分計算任務中的每個計算任務需要經過P個計算階段計算，M大于1，P大于1；

所述目標計算節點用于接收所述管理節點發送的所述部分計算任務和所述資源評估模型的信息；根據所述資源評估模型的信息得到所述資源評估模型，在執行目標任務的每個計算階段前將所述計算階段的輸入數據代入到所述資源評估模型以計算所述計算階段所需要的計算資源的資源大小；通過預設資源池中所述資源大小的計算資源計算所述輸入數據，所述目標任務為所述部分計算任務中的任意一個計算任務，各個計算階段使用的所述資源評估模型各不相同。

2.根據權利要求1所述的系統，其特征在于：

所述管理節點還用于向所述目標計算節點發送為所述部分計算任務中每個計算任務分配的初始計算資源的信息；

所述目標計算節點還用于接收為所述每個計算任務分配的初始計算資源的信息，并將為所述每個計算任務分配的初始計算資源注冊到所述資源池中供使用。

3.根據權利要求1或2所述的系統，其特征在于，所述目標計算節點通過預設資源池中所述資源大小的計算資源計算所述輸入數據，具體為：

將所述資源大小代入預設優先級算法計算所述每個計算階段的優先級并判斷所述計算階段的優先級是否高于預設優先級閾值，所述優先級用于體現所述計算階段的重要性；或者判斷所述資源大小是否不大于預設資源池中剩余的計算資源的數量；

若是，則通過所述資源池中所述資源大小的計算資源計算所述輸入數據。

4.根據權利要求1或2所述的系統，其特征在于，所述目標計算節點還用于在計算完所述輸入數據后向所述資源池釋放所述資源大小的計算資源。

5.根據權利要求1或2所述的系統，其特征在于，所述資源大小包括數據量大小、覆蓋深度和記錄數中至少一項。

6.根據權利要求1或2所述的系統，其特征在于，所述計算任務包括映射map任務，或者歸約reduce任務。

7.根據權利要求1或2所述的系統，其特征在于，所述資源評估模型用于根據輸入數據的大小評估出計算所述輸入數據所需計算資源的資源大小，當C_max＞C_ref*R/R_ref＞C_min時，C_new＝[C_ref*R/R_ref]；當C_ref*R/R_ref≥C_max時，C_new＝C_max；當C_ref*R/R_ref≤C_min時，C_new＝C_min；C_new為評估出的所述計算資源的資源大小，C_max為預先配置的所述資源大小可取的上限值，C_min為預先配置的所述資源大小可取的下限值，C_ref為預先配置的所述資源大小的平均值，R_ref等于所述M個計算任務的任務大小除以M得到的任務大小平均值，R為所述輸入數據的大小，[C_ref*R/R_ref]表示對C_ref*R/R_ref取整。