[發明專利]一種基于任務類型的動態MapReduce 調度方法及系統

在審

• 申請號: 201310306360.X
• 申請日: 2013-07-19
• 公開（公告）號: CN103365729A
• 公開（公告）日: 2013-10-23
• 發明（設計）人: 何震宇;薛鴻杰;盛義濤;葛百根;史夢龍;胡文毅
• 申請（專利權）人: 哈爾濱工業大學深圳研究生院
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙) 44248
• 代理人: 鄧揚;于標

技術領域

本發明涉及一種MapReduce調度方法，尤其涉及一種基于任務類型的動態MapReduce調度方法及系統。?

背景技術

隨著Internet數據規模的持續增長，Internet提供的服務就需要能夠存儲和處理海量數據。MapReduce是一種并行編程模型，用于大規模數據的并行運算，可用于構建數據中心，是現行的領先的并行計算解決方案。在當前互聯網環境下，Internet服務層出不窮，同一個數據中心很可能同時提供多種服務，這就導致數據中心可能同時運行著不同類型的工作任務。例如，數據中心正在運行視頻轉碼這種CPU密集型的任務，與此同時，它也在運行音視頻流傳輸這種I/O密集型的任務。?

現有的MapReduce調度算法中并沒有考慮以下情況：在有不同任務類型的環境下對CPU密集型任務和I/O密集型任務的分別調度。試想最壞的情況：將所有CPU密集型任務調度到同一工作結點或將所有的I/O密集型任務調度到同一結點，這樣運行CPU密集型任務的工作結點的I/O資源就沒得到充分利用。?

發明內容

為了解決現有技術中的問題，本發明提供了一種基于任務類型的動態MapReduce調度方法。?

本發明提供了一種基于任務類型的動態MapReduce調度方法，包括如下步驟：?

A.進入等待隊列，所有提交到工作結點集群上的工作任務都先進入等待隊列，由等待隊列將工作任務部分調度到工作結點集群；?

B.工作任務分類，根據預測機制將工作任務分為CPU密集型和I/O密集型；?

C.工作任務遷移,根據步驟B得到的預測結果將工作任務遷移到CPU密集型隊列或I/O密集型隊列；?

D.工作任務調度，CPU密集型隊列和I/O密集型隊列分別獨立調度，將工作任務調度到工作結點集群，執行任務。?

作為本發明的進一步改進，在所述步驟C中，當工作任務資源需求變化或錯誤時，能夠將工作任務從CPU密集型隊列遷移到I/O密集型隊列、或者將工作任務從I/O密集型隊列遷移到CPU密集型隊列。?

作為本發明的進一步改進，在所述步驟D中，每個隊列獨立工作，分別以先進先出的方式調度并配置優先級，在存在多種任務類型的環境中，將CPU密集型和I/O密集型交替調度到工作結點集群。?

作為本發明的進一步改進，在所述步驟B中，工作任務包括Map任務與Reduce任務，需要采集的數據包括Map任務與Reduce任務產生輸入及輸出大小、Map任務與Reduce任務的執行時間和Map任務與Reduce任務所在結點的磁盤讀寫速率。?

作為本發明的進一步改進，在所述步驟B中，所述預測機制的方法是：假設同一工作任務對資源的需求情況一致，即，一個工作任務各部分對資源需求大體一致，類型相同；然后從歷史運行數據中獲得工作任務對資源的需求情況，預測整個工作任務的類型。?

本發明還提供了一種基于任務類型的動態MapReduce調度系統，包括：?

等待隊列及調度模塊，用于所有提交到工作結點集群上的工作任務都先進入等待隊列，由等待隊列將工作任務部分調度到工作結點集群；?

任務分類模塊，用于根據預測機制將工作任務分為CPU密集型和I/O密集型；?

任務遷移模塊,用于根據步驟B得到的預測結果將工作任務遷移到CPU密集型隊列或I/O密集型隊列；?

任務調度模塊，用于CPU密集型隊列和I/O密集型隊列分別獨立調度，將工作任務調度到工作結點集群，執行任務。?

作為本發明的進一步改進，在所述任務遷移模塊中，當工作任務資源需求變化或錯誤時，能夠將工作任務從CPU密集型隊列遷移到I/O密集型隊列、或者將工作任務從I/O密集型隊列遷移到CPU密集型隊列。?

作為本發明的進一步改進，在所述任務調度模塊中，每個隊列獨立工作，分別以先進先出的方式調度并配置優先級，在存在多種任務類型的環境中，將CPU密集型和I/O密集型交替調度到工作結點集群。?

作為本發明的進一步改進，在所述任務分類模塊中，工作任務包括Map任務與Reduce任務，需要采集的數據包括Map任務與Reduce任務產生輸入及輸出大小、Map任務與Reduce任務的執行時間和Map任務與?Reduce任務所在結點的磁盤讀寫速率。?