[發(fā)明專利]自助式MapReduce數(shù)據(jù)優(yōu)化分配方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810130531.0
• 申請日: 2018-02-08
• 公開（公告）號: CN108491255B
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計）人: 崔鵬飛;田春華;史巨偉;李闖;劉家揚
• 申請（專利權(quán)）人: 昆侖智匯數(shù)據(jù)科技(北京)有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京潤捷智誠知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11831
• 代理人: 孫巍

1.一種自助式MapReduce數(shù)據(jù)優(yōu)化分配方法，其特征在于，包括以下步驟：

作業(yè)解析模塊接收客戶端發(fā)送的MapReduce作業(yè)數(shù)據(jù)包，將該MapReduce作業(yè)數(shù)據(jù)包解析成任務(wù)和作業(yè)數(shù)據(jù)參數(shù)，并分別將任務(wù)和作業(yè)數(shù)據(jù)參數(shù)發(fā)送至任務(wù)隊列形成模塊和任務(wù)分配及調(diào)度模塊；

任務(wù)隊列形成模塊按照任務(wù)調(diào)度策略將任務(wù)加入任務(wù)隊列；

任務(wù)執(zhí)行歷史日志記錄模塊記錄多個任務(wù)執(zhí)行模塊的任務(wù)執(zhí)行歷史日志，以供任務(wù)分配及調(diào)度模塊實時讀取；

任務(wù)分配及調(diào)度模塊根據(jù)作業(yè)數(shù)據(jù)參數(shù)和任務(wù)執(zhí)行歷史日志計算出任務(wù)優(yōu)化分配方案，并根據(jù)任務(wù)優(yōu)化分配方案調(diào)取任務(wù)隊列中的任務(wù)發(fā)送至任務(wù)執(zhí)行模塊；

多個任務(wù)執(zhí)行模塊分別執(zhí)行任務(wù)并向任務(wù)執(zhí)行歷史日志記錄模塊匯報任務(wù)執(zhí)行歷史日志；

任務(wù)隊列中的任務(wù)具有優(yōu)先級和對應(yīng)的數(shù)據(jù)塊，該優(yōu)先級與MapReduce作業(yè)數(shù)據(jù)包的優(yōu)先級一致；

任務(wù)執(zhí)行模塊為Mapreduce系統(tǒng)拓撲結(jié)構(gòu)中的任務(wù)執(zhí)行節(jié)點；

任務(wù)分配及調(diào)度模塊存儲Mapreduce系統(tǒng)拓撲結(jié)構(gòu)信息，該Mapreduce系統(tǒng)拓撲結(jié)構(gòu)信息包括各節(jié)點位置以及各節(jié)點之間的連接關(guān)系；

作業(yè)數(shù)據(jù)參數(shù)包括：任務(wù)中數(shù)據(jù)塊大小信息和數(shù)據(jù)塊所在節(jié)點位置信息；

任務(wù)調(diào)度策略包括：容量調(diào)度、公平調(diào)度、先入先出隊列調(diào)度；

任務(wù)執(zhí)行歷史日志包括：歷史執(zhí)行過的每個任務(wù)在任務(wù)執(zhí)行模塊的執(zhí)行時間、該任務(wù)的數(shù)據(jù)塊大小、數(shù)據(jù)塊位置、數(shù)據(jù)塊在不同節(jié)點間的數(shù)據(jù)傳輸時間和數(shù)據(jù)塊屬性；

任務(wù)分配及調(diào)度模塊根據(jù)作業(yè)數(shù)據(jù)參數(shù)和任務(wù)執(zhí)行歷史日志計算出任務(wù)優(yōu)化分配方案，包括以下步驟：

S11，獲得Mapreduce系統(tǒng)中的可用任務(wù)執(zhí)行節(jié)點node_1，node_2，……，node_m，需要執(zhí)行的任務(wù)task_1，task_2，……，task_n；

S12，記s_ij為決策變量，其中，s_ij＝0或者s_ij＝1，s_ij＝1表示任務(wù)task_i在node_j上執(zhí)行，1≤i≤n，1≤j≤n，滿足約束∑_jS_ij＝1，表示一個執(zhí)行節(jié)點只能同時執(zhí)行一個任務(wù)；

S13，第i個任務(wù)的數(shù)據(jù)塊在第j個可用任務(wù)執(zhí)行節(jié)點上的執(zhí)行時間為t_ij，第i個任務(wù)的數(shù)據(jù)塊到第j個可用任務(wù)執(zhí)行節(jié)點上的傳輸時間為其中，該執(zhí)行時間和該傳輸時間依據(jù)任務(wù)執(zhí)行歷史日志進行計算；

S14，優(yōu)化目標為即所有的任務(wù)在可用任務(wù)執(zhí)行節(jié)點以最短的時間執(zhí)行完成。

2.一種實現(xiàn)權(quán)利要求1所述的自助式MapReduce數(shù)據(jù)優(yōu)化分配方法的系統(tǒng)，其特征在于，包括：

作業(yè)解析模塊，用于接收客戶端發(fā)送的MapReduce作業(yè)數(shù)據(jù)包，將該MapReduce作業(yè)數(shù)據(jù)包解析成任務(wù)和作業(yè)數(shù)據(jù)參數(shù)，并分別將任務(wù)和作業(yè)數(shù)據(jù)參數(shù)發(fā)送至任務(wù)隊列形成模塊和任務(wù)分配及調(diào)度模塊；

任務(wù)隊列形成模塊，用于按照任務(wù)調(diào)度策略將任務(wù)加入任務(wù)隊列；

任務(wù)執(zhí)行歷史日志記錄模塊，用于記錄多個任務(wù)執(zhí)行模塊的任務(wù)執(zhí)行歷史日志，以供任務(wù)分配及調(diào)度模塊實時讀取；

任務(wù)分配及調(diào)度模塊，用于根據(jù)作業(yè)數(shù)據(jù)參數(shù)和任務(wù)執(zhí)行歷史日志計算出任務(wù)優(yōu)化分配方案，并根據(jù)任務(wù)優(yōu)化分配方案調(diào)取任務(wù)隊列中的任務(wù)發(fā)送至任務(wù)執(zhí)行模塊；

多個任務(wù)執(zhí)行模塊，用于分別執(zhí)行任務(wù)并向任務(wù)執(zhí)行歷史日志記錄模塊匯報任務(wù)執(zhí)行歷史日志。

3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，任務(wù)執(zhí)行模塊為Mapreduce系統(tǒng)拓撲結(jié)構(gòu)中的節(jié)點。