[發(fā)明專利]一種資源分配方法、相關(guān)設(shè)備及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201610878801.7
• 申請(qǐng)日: 2016-09-30
• 公開（公告）號(hào): CN107885595B
• 公開（公告）日: 2021-12-14
• 發(fā)明（設(shè)計(jì)）人: 黃國位;鄧?yán)?/a>;魏建生
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

本發(fā)明實(shí)施例公開了一種計(jì)算資源分配方法、相關(guān)設(shè)備及基于映射/歸約MapReduce的分布式系統(tǒng)，系統(tǒng)包括管理節(jié)點(diǎn)和目標(biāo)計(jì)算節(jié)點(diǎn)，其中：管理節(jié)點(diǎn)用于獲取M個(gè)計(jì)算任務(wù)并根據(jù)M個(gè)計(jì)算任務(wù)的數(shù)據(jù)大小建立資源評(píng)估模型；將M個(gè)計(jì)算任務(wù)中的部分計(jì)算任務(wù)和資源評(píng)估模型的信息發(fā)送給目標(biāo)計(jì)算節(jié)點(diǎn)；目標(biāo)計(jì)算節(jié)點(diǎn)用于接收管理節(jié)點(diǎn)發(fā)送的部分計(jì)算任務(wù)和資源評(píng)估模型的信息；在執(zhí)行目標(biāo)任務(wù)的每個(gè)計(jì)算階段前將計(jì)算階段的輸入數(shù)據(jù)代入到資源評(píng)估模型以計(jì)算計(jì)算階段所需要的計(jì)算資源的資源大小；通過預(yù)設(shè)資源池中該資源大小的計(jì)算資源計(jì)算輸入數(shù)據(jù)。采用本發(fā)明，能夠提高計(jì)算資源的利用率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種資源分配方法、相關(guān)設(shè)備及系統(tǒng)。

背景技術(shù)

Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理。其核心設(shè)計(jì)是分布式文件系統(tǒng)(英文：Hadoop Distributed File System，簡稱：HDFS)和映射/歸約MapReduce編程模型。HDFS為海量數(shù)據(jù)提供了存儲(chǔ)，而MapReduce為海量數(shù)據(jù)提供了計(jì)算。通常情況下，Hadoop的MapReduce處理一組輸入的鍵值對(duì)(key/valuepairs)，經(jīng)過用戶指定的MapReduce函數(shù)處理后，最終輸出一組鍵值對(duì)。MapReduce實(shí)際上定義了Map函數(shù)接口和Reduce函數(shù)接口，Map函數(shù)用于轉(zhuǎn)化輸入記錄得到中間結(jié)果，Reduce函數(shù)用于將中間結(jié)果轉(zhuǎn)化到最終結(jié)果。因此用戶可以很簡單的通過參數(shù)指定Map函數(shù)和Reduce函數(shù)來對(duì)數(shù)據(jù)進(jìn)行計(jì)算。如圖1所示，圖中的映射任務(wù)(Map task)由該Map函數(shù)實(shí)現(xiàn)，圖中的歸約任務(wù)(Reduce task)由該Reduce函數(shù)實(shí)現(xiàn)。

DREAMS是一個(gè)擴(kuò)展了另一種資源協(xié)調(diào)者(英文：Yet Another ResourceNegotiator，簡稱：YARN)的資源調(diào)度框架，如圖2所示，DREAMS用于解決MapReduce中Reduce階段資源分配不均衡的問題。DREAMS提出了實(shí)時(shí)預(yù)測(cè)每個(gè)Reduce任務(wù)處理的數(shù)據(jù)量大小，然后基于該數(shù)據(jù)量大小通過任務(wù)性能評(píng)估模型評(píng)估每個(gè)Reduce任務(wù)執(zhí)行時(shí)所需的計(jì)算資源Container的大小，其執(zhí)行流程如下：

步驟1：每個(gè)節(jié)點(diǎn)管理器(英文：NodeManager，簡稱：NM)運(yùn)行分區(qū)大小監(jiān)控(Partition Size Monitor)模塊，用于監(jiān)控所有Map任務(wù)輸出的數(shù)據(jù)信息，并通過NM的心跳將該數(shù)據(jù)信息發(fā)送給應(yīng)用程序管理器(英文：Application Master，簡稱：AM)端的分區(qū)大小預(yù)測(cè)(Partition Size Predictor)模塊；

步驟2：Partition Size Predictor接收所有NM上Partition Size Monitor發(fā)送的數(shù)據(jù)信息，并根據(jù)該數(shù)據(jù)信息實(shí)時(shí)預(yù)測(cè)各個(gè)Reduce任務(wù)的數(shù)據(jù)量大小；

步驟3：AM上的Task Duration Estimator根據(jù)各個(gè)Reduce的數(shù)據(jù)量大小建立用于計(jì)算資源大小的資源模型；

步驟4：AM上的資源分配(Resource Allocator)模塊通過該資源模型根據(jù)每個(gè)Reduce任務(wù)的數(shù)據(jù)量大小預(yù)測(cè)每個(gè)Reduce任務(wù)所需的計(jì)算資源的大小；

步驟5：AM與資源管理器(英文：ResourceManager，簡稱：RM)上的細(xì)粒度容器調(diào)度(Fine-grained Container Scheduler)模塊通信，為各個(gè)Reduce任務(wù)申請(qǐng)所需的計(jì)算資源Container；

步驟6：AM將各個(gè)Reduce任務(wù)所需的計(jì)算資源通知給各個(gè)Reduce任務(wù)所分布的計(jì)算節(jié)點(diǎn)；

步驟7：各個(gè)Reduce所在的計(jì)算節(jié)點(diǎn)根據(jù)指定的計(jì)算資源執(zhí)行Reduce任務(wù)。