[發明專利]一種分布式計算系統的任務調度方法及系統

有效

• 申請號: 201210593388.1
• 申請日: 2012-12-31
• 公開（公告）號: CN103078941A
• 公開（公告）日: 2013-05-01
• 發明（設計）人: 岳洋;鈕毅
• 申請（專利權）人: 中金數據系統有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 寇海俠

1.一種分布式計算系統的任務調度方法，所述分布式計算系統的集群中的節點包括一個主節點和多個工作節點，其中所述主節點用于為所述多個工作節點進行任務調度，其特征在于，包括如下步驟：

S1，用戶程序啟動MapReduce程序，同時用戶程序進入休眠狀態；主節點獲取輸入文件，主節點發出執行處理輸入文件的請求，所述分布式計算系統對所述請求做出響應，并將所述輸入文件分成多個數據段，主節點根據所述數據段數目生成多個Map子任務，并將所述Map子任務的副本復制到各個工作節點上，其中，每個所述Map子任務用于執行處理一個所述數據段的請求；同時，所述主節點按照用戶程序邏輯設定一個或多個Reduce子任務，并將所述Reduce子任務的副本復制到所述各個工作節點上；

S2，集群中的工作節點將空閑狀態周期性地發送給所述主節點，主節點根據所述工作節點的空閑狀態將所述數據段分配給所述工作節點，直到所有數據段均分配完畢，所述工作節點從所述數據段中提取出關于Key和Value的初始鍵值對，將所述初始鍵值對傳遞給Map子任務，由所述Map子任務進行處理，生成中間鍵值對，輸出所述中間鍵值對至公共區域中，其中，所述公共區域為所述分布式計算系統中的一個目錄，由所述用戶程序在啟動MapReduce程序時指定；

S3，所述工作節點完成一個Map子任務后向所述主節點發出處理完成Map子任務的報告，主節點判斷所有數據段的處理是否完成，若是，則執行步聚S4；若否，則返回執行步驟S3；

S4，標記最后完成數據段處理的工作節點，將處于公共區域的多個所述中間鍵值對分成多個區，調取Reduce子任務，每個Reduce子任務對一個區中的中間鍵值按照Key進行排序，并將排序后的中間鍵值對周期性地寫入所述分布式計算系統的公共區域；

S5，最后完成數據段處理的工作節點獲取所述公共區域的中間鍵值對，再次調取Reduce子任務對各個區的所述中間鍵值對進行處理，并將處理后得到的結果存儲到所屬區作為最終結果；

S6，主節點喚醒用戶程序，用戶程序結束對MapReduce的調用并返回。

2.根據權利要求1所述的分布式計算系統的任務調度方法，其特征在于，在所述步驟S4中，還包括步驟S401：

S401，判斷所述中間鍵值對的數量是否大于所述分布式計算系統配置的用于執行任務的各工作節點的內存空間限額，若否，則對中間鍵值對的排序使用工作節點的內存空間進行排序；若是，則使用工作節點的除內存外的本地磁盤空間進行排序。