[發明專利]MapReduce應用的相關參數的配置方法和裝置

在審

• 申請號: 201410373376.7
• 申請日: 2014-07-31
• 公開（公告）號: CN105302536A
• 公開（公告）日: 2016-02-03
• 發明（設計）人: 鄒嘉;史巨偉;鄭勇;王晨;劉杰
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F9/44
• 分類號: G06F9/44
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華;陳穎

1.一種基于分布式文件系統的MapReduce應用的相關參數的配置方法，包括：

接收第一MapReduce作業的處理請求；

獲取歷史MapReduce作業的作業特征屬性；

從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一MapReduce作業相關的第二MapReduce作業的作業特征屬性；

根據所述第二MapReduce作業的作業特征屬性配置所述第一MapReduce作業的相關參數。

2.根據權利要求1所述的方法，其中所述歷史MapReduce作業的作業特征屬性包括歷史MapReduce作業的作業名稱和以下中的至少一個：輸入文件的路徑、輸入文件的大小、輸出文件的路徑、輸出文件的大小、Map任務數和Reduce任務數。

3.根據權利要求1所述的方法，如果所述第一MapReduce作業是數據生成類型，則從所述歷史MapReduce作業的作業特征屬性中查找與所述第一MapReduce作業相關的第二MapReduce作業進一步包括：

從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一MapReduce作業相似的第三MapReduce作業；

從歷史MapReduce作業的作業特征屬性中查找到以所述第三MapReduce的輸出文件作為輸入文件的第二MapReduce作業。

4.根據權利要求1所述的方法，如果所述第一MapReduce作業是數據消費類型，

則從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一MapReduce作業相關的第二MapReduce作業進一步包括：

從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一MapReduce作業相似的第二MapReduce作業。

5.根據權利要求3或4所述的方法，其中根據所述第二MapReduce作業的作業特征屬性配置所述第一MapReduce作業的相關參數進一步包括：

根據所述第二MapReduce作業的輸入文件的分片大小劃分所述第一MapReduce作業的輸入文件的數據塊大小。

6.根據權利要求5所述的方法，其中根據所述第二MapReduce作業的輸入文件的分片大小劃分所述第一MapReduce作業的輸入文件的數據塊大小包括：將所述第一MapReduce作業的輸入文件的數據塊大小配置為所述第二MapReduce作業的輸入數據分片大小的整數倍。

7.根據權利要求6所述的方法，其中根據所述第二MapReduce作業的作業特征屬性配置所述第一MapReduce作業的相關參數進一步包括：

根據所述第二MapReduce作業的輸入文件的分片大小確定所述第一MapReduce作業的Map任務數或Reduce任務數。

8.根據權利要求7所述的方法，其中根據所述第二MapReduce作業的輸入文件的分片大小確定所述第一MapReduce作業的Map任務數或Reduce任務數進一步包括：

獲取處理所述第一MapReduce作業的計算節點數和對應于每個計算節點的資源槽的數目；

將所述第一MapReduce作業的Map任務數或Reduce任務數配置為所有計算節點的資源槽的總數的整數倍。

9.根據權利要求3所述的方法，其中從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一MapReduce作業相似的第三MapReduce作業包括：

以所述第一MapReduce作業的作業名稱作為關鍵字在所述歷史MapReduce作業的作業特征屬性中進行查找；

響應于查找到一個與所述第一MapReduce作業具有相同作業名稱的歷史MapReduce作業，則確定該歷史MapReduce作業為所述第三MapReduce作業；

響應于查找到多個具有相同作業名的歷史MapReduce作業，則根據以下的至少之一確定與第一MapReduce作業相似的第三MapReduce作業：輸出文件的路徑、輸出文件的大小和計算節點數目。