[發(fā)明專利]自助式MapReduce數(shù)據(jù)優(yōu)化分配方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810130531.0
• 申請日: 2018-02-08
• 公開（公告）號: CN108491255B
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計）人: 崔鵬飛;田春華;史巨偉;李闖;劉家揚
• 申請（專利權(quán)）人: 昆侖智匯數(shù)據(jù)科技(北京)有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京潤捷智誠知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11831
• 代理人: 孫巍

本發(fā)明提供一種自助式MapReduce數(shù)據(jù)優(yōu)化分配方法及系統(tǒng)，該方法包括以下步驟：作業(yè)解析模塊接收客戶端發(fā)送的MapReduce作業(yè)數(shù)據(jù)包并解析成任務(wù)和作業(yè)數(shù)據(jù)參數(shù)；任務(wù)隊列形成模塊按照任務(wù)調(diào)度策略將任務(wù)加入任務(wù)隊列；任務(wù)執(zhí)行歷史日志記錄模塊記錄多個任務(wù)執(zhí)行模塊的任務(wù)執(zhí)行歷史日志，以供任務(wù)分配及調(diào)度模塊實時讀取；任務(wù)分配及調(diào)度模塊根據(jù)作業(yè)數(shù)據(jù)參數(shù)和任務(wù)執(zhí)行歷史日志計算出任務(wù)優(yōu)化分配方案，并根據(jù)任務(wù)優(yōu)化分配方案調(diào)取任務(wù)隊列中的任務(wù)發(fā)送至任務(wù)執(zhí)行模塊；多個任務(wù)執(zhí)行模塊分別執(zhí)行任務(wù)并匯報任務(wù)執(zhí)行歷史日志。本發(fā)明的方法及系統(tǒng)根據(jù)任務(wù)的數(shù)據(jù)塊大小、數(shù)據(jù)塊物理節(jié)點分布和各可用節(jié)點的性能來優(yōu)化任務(wù)調(diào)度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)優(yōu)化分配技術(shù)領(lǐng)域，尤其涉及一種自助式MapReduce數(shù)據(jù)優(yōu)化分配方法及系統(tǒng)。

背景技術(shù)

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算。MapReduce系統(tǒng)為一種分布式的并行系統(tǒng)，在Mapreduce系統(tǒng)中通過映射(Map)和化簡(Reduce)過程實現(xiàn)對數(shù)據(jù)的分布式處理。任務(wù)調(diào)度是MapReduce任務(wù)中的關(guān)鍵過程。

Mapreduce系統(tǒng)現(xiàn)有三種主流任務(wù)調(diào)度策略，Capacity Scheduler(容量調(diào)度)、fair Scheduler(公平調(diào)度)、FIFO(First Input First Output，先入先出隊列調(diào)度)。這三種策略都采用三級調(diào)度模式，即為空閑的slot(位置)一次選擇一個隊列、作業(yè)和任務(wù)。

在隊列和作業(yè)層不同調(diào)度器采用不同策略，在任務(wù)層(task)采用相同的策略，即本地性策略。本地性策略不能充分利用Mapreduce系統(tǒng)中各個節(jié)點的功能，造成資源浪費。

現(xiàn)有技術(shù)中，除了本地性策略之外，對于Mapreduce系統(tǒng)中的其他類型的數(shù)據(jù)采取隨機分配的方式，沒有對可用節(jié)點的執(zhí)行狀態(tài)進行實時記錄，同樣也沒有對可用節(jié)點和待執(zhí)行任務(wù)進行優(yōu)化分配的計算，使得不能充分利用MR系統(tǒng)中的可用節(jié)點的資源，造成資源浪費，任務(wù)執(zhí)行效率低下。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的自助式MapReduce數(shù)據(jù)優(yōu)化分配方法及系統(tǒng)。

本發(fā)明的一個方面，提供了一種自助式MapReduce數(shù)據(jù)優(yōu)化分配方法，包括以下步驟：

作業(yè)解析模塊接收客戶端發(fā)送的MapReduce作業(yè)數(shù)據(jù)包，將該MapReduce作業(yè)數(shù)據(jù)包解析成任務(wù)和作業(yè)數(shù)據(jù)參數(shù)，并分別將任務(wù)和作業(yè)數(shù)據(jù)參數(shù)發(fā)送至任務(wù)隊列形成模塊和任務(wù)分配及調(diào)度模塊；任務(wù)隊列形成模塊按照任務(wù)調(diào)度策略將任務(wù)加入任務(wù)隊列；任務(wù)執(zhí)行歷史日志記錄模塊記錄多個任務(wù)執(zhí)行模塊的任務(wù)執(zhí)行歷史日志，以供任務(wù)分配及調(diào)度模塊實時讀?。蝗蝿?wù)分配及調(diào)度模塊根據(jù)作業(yè)數(shù)據(jù)參數(shù)和任務(wù)執(zhí)行歷史日志計算出任務(wù)優(yōu)化分配方案，并根據(jù)任務(wù)優(yōu)化分配方案調(diào)取任務(wù)隊列中的任務(wù)發(fā)送至任務(wù)執(zhí)行模塊；多個任務(wù)執(zhí)行模塊分別執(zhí)行任務(wù)并向任務(wù)執(zhí)行歷史日志記錄模塊匯報任務(wù)執(zhí)行歷史日志。

任務(wù)隊列中的任務(wù)具有優(yōu)先級和對應(yīng)的數(shù)據(jù)塊，該優(yōu)先級與MapReduce作業(yè)數(shù)據(jù)包的優(yōu)先級一致。

任務(wù)執(zhí)行模塊為Mapreduce系統(tǒng)拓撲結(jié)構(gòu)中的任務(wù)執(zhí)行節(jié)點。

任務(wù)分配及調(diào)度模塊存儲Mapreduce系統(tǒng)拓撲結(jié)構(gòu)信息，該Mapreduce系統(tǒng)拓撲結(jié)構(gòu)信息包括各節(jié)點位置以及各節(jié)點之間的連接關(guān)系。

作業(yè)數(shù)據(jù)參數(shù)包括：任務(wù)中數(shù)據(jù)塊大小信息和數(shù)據(jù)塊所在節(jié)點位置信息。

任務(wù)調(diào)度策略包括：容量調(diào)度、公平調(diào)度、先入先出隊列調(diào)度。

任務(wù)執(zhí)行歷史日志包括：歷史執(zhí)行過的每個任務(wù)在任務(wù)執(zhí)行模塊的執(zhí)行時間、該任務(wù)的數(shù)據(jù)塊大小、數(shù)據(jù)塊位置、數(shù)據(jù)塊在不同節(jié)點間的數(shù)據(jù)傳輸時間和數(shù)據(jù)塊屬性。