[發(fā)明專利]一種基于任務(wù)類型的動態(tài)MapReduce 調(diào)度方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201310306360.X
• 申請日: 2013-07-19
• 公開（公告）號: CN103365729A
• 公開（公告）日: 2013-10-23
• 發(fā)明（設(shè)計）人: 何震宇;薛鴻杰;盛義濤;葛百根;史夢龍;胡文毅
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)深圳研究生院
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 深圳市科吉華烽知識產(chǎn)權(quán)事務(wù)所(普通合伙) 44248
• 代理人: 鄧揚;于標(biāo)

1.一種基于任務(wù)類型的動態(tài)MapReduce調(diào)度方法，其特征在于，包括如下步驟：

A.進入等待隊列，所有提交到工作結(jié)點集群上的工作任務(wù)都先進入等待隊列，由等待隊列將工作任務(wù)部分調(diào)度到工作結(jié)點集群；

B.工作任務(wù)分類，根據(jù)預(yù)測機制將工作任務(wù)分為CPU密集型和I/O密集型；

C.工作任務(wù)遷移,根據(jù)步驟B得到的預(yù)測結(jié)果將工作任務(wù)遷移到CPU密集型隊列或I/O密集型隊列；

D.工作任務(wù)調(diào)度，CPU密集型隊列和I/O密集型隊列分別獨立調(diào)度，將工作任務(wù)調(diào)度到工作結(jié)點集群，執(zhí)行任務(wù)。

2.根據(jù)權(quán)利要求1所述的動態(tài)MapReduce調(diào)度方法，其特征在于，在所述步驟C中，當(dāng)工作任務(wù)資源需求變化或錯誤時，能夠?qū)⒐ぷ魅蝿?wù)從CPU密集型隊列遷移到I/O密集型隊列、或者將工作任務(wù)從I/O密集型隊列遷移到CPU密集型隊列。

3.根據(jù)權(quán)利要求1所述的動態(tài)MapReduce調(diào)度方法，其特征在于，在所述步驟D中，每個隊列獨立工作，分別以先進先出的方式調(diào)度并配置優(yōu)先級，在存在多種任務(wù)類型的環(huán)境中，將CPU密集型和I/O密集型交替調(diào)度到工作結(jié)點集群。

4.根據(jù)權(quán)利要求1所述的動態(tài)MapReduce調(diào)度方法，其特征在于，在所述步驟B中，工作任務(wù)包括Map任務(wù)與Reduce任務(wù)，需要采集的數(shù)據(jù)包括Map任務(wù)與Reduce任務(wù)產(chǎn)生輸入及輸出大小、Map任務(wù)與Reduce任務(wù)的執(zhí)行時間和Map任務(wù)與Reduce任務(wù)所在結(jié)點的磁盤讀寫速率。

5.根據(jù)權(quán)利要求1所述的動態(tài)MapReduce調(diào)度方法，其特征在于，在所述步驟B中，所述預(yù)測機制的方法是：假設(shè)同一工作任務(wù)對資源的需求情況一致，即，一個工作任務(wù)各部分對資源需求大體一致，類型相同；然后從歷史運行數(shù)據(jù)中獲得工作任務(wù)對資源的需求情況，預(yù)測整個工作任務(wù)的類型。

6.一種基于任務(wù)類型的動態(tài)MapReduce調(diào)度系統(tǒng)，其特征在于，包括：

等待隊列及調(diào)度模塊，用于所有提交到工作結(jié)點集群上的工作任務(wù)都先進入等待隊列，由等待隊列將工作任務(wù)部分調(diào)度到工作結(jié)點集群；

任務(wù)分類模塊，用于根據(jù)預(yù)測機制將工作任務(wù)分為CPU密集型和I/O密集型；

任務(wù)遷移模塊,用于根據(jù)步驟B得到的預(yù)測結(jié)果將工作任務(wù)遷移到CPU密集型隊列或I/O密集型隊列；

任務(wù)調(diào)度模塊，用于CPU密集型隊列和I/O密集型隊列分別獨立調(diào)度，將工作任務(wù)調(diào)度到工作結(jié)點集群，執(zhí)行任務(wù)。

7.根據(jù)權(quán)利要求6所述的動態(tài)MapReduce調(diào)度系統(tǒng)，其特征在于，在所述任務(wù)遷移模塊中，當(dāng)工作任務(wù)資源需求變化或錯誤時，能夠?qū)⒐ぷ魅蝿?wù)從CPU密集型隊列遷移到I/O密集型隊列、或者將工作任務(wù)從I/O密集型隊列遷移到CPU密集型隊列。

8.根據(jù)權(quán)利要求6所述的動態(tài)MapReduce調(diào)度系統(tǒng)，其特征在于，在所述任務(wù)調(diào)度模塊中，每個隊列獨立工作，分別以先進先出的方式調(diào)度并配置優(yōu)先級，在存在多種任務(wù)類型的環(huán)境中，將CPU密集型和I/O密集型交替調(diào)度到工作結(jié)點集群。

9.根據(jù)權(quán)利要求6所述的動態(tài)MapReduce調(diào)度系統(tǒng)，其特征在于，在所述任務(wù)分類模塊中，工作任務(wù)包括Map任務(wù)與Reduce任務(wù)，需要采集的數(shù)據(jù)包括Map任務(wù)與Reduce任務(wù)產(chǎn)生輸入及輸出大小、Map任務(wù)與Reduce任務(wù)的執(zhí)行時間和Map任務(wù)與Reduce任務(wù)所在結(jié)點的磁盤讀寫速率。

10.根據(jù)權(quán)利要求6所述的動態(tài)MapReduce調(diào)度系統(tǒng)，其特征在于，在所述任務(wù)分類模塊中，所述預(yù)測機制的方法是：假設(shè)同一工作任務(wù)對資源的需求情況一致，即，一個工作任務(wù)各部分對資源需求大體一致，類型相同；然后從歷史運行數(shù)據(jù)中獲得工作任務(wù)對資源的需求情況，預(yù)測整個工作任務(wù)的類型。