[發明專利]一種基于MapReduce的分布式計算方法和裝置

有效

• 申請號: 201210181255.3
• 申請日: 2012-06-05
• 公開（公告）號: CN103455374B
• 公開（公告）日: 2016-10-19
• 發明（設計）人: 王勇;廖新濤;徐冬
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 上海浦一知識產權代理有限公司 31211
• 代理人: 殷曉雪

1.一種基于MapReduce的分布式計算方法，其特征是，包括如下步驟：

第1步，客戶應用程序向MapReduce編譯工具發出指令；

第2步，MapReduce編譯工具將該指令編譯為一個或多個作業；在數據庫中查詢該指令所對應的作業記錄，以查詢到的作業記錄中的歸約器數量作為相應作業的歸約器數量；MapReduce編譯工具將每個作業與對應的歸約器數量一起提交給MapReduce軟件框架；

第3步，MapReduce軟件框架按照接收的歸約器數量處理每個作業，然后向MapReduce編譯工具輸出作業結果；

第4步，MapReduce編譯工具將成功作業記錄儲存在數據庫中，并將作業結果發送給客戶應用程序和/或存儲于分布式文件系統。

2.根據權利要求1所述的一種基于MapReduce的分布式計算方法，其特征是，所述方法第2步中，MapReduce編譯工具將該指令編譯為一個或多個作業后，為每個作業設置歸約器數量；當在數據庫中查詢到該指令所對應的作業記錄時，以查詢到的作業記錄中的歸約器數量替換相應作業所設置的歸約器數量。

3.根據權利要求1所述的一種基于MapReduce的分布式計算方法，其特征是，所述方法第2步中，MapReduce編譯工具還對該指令去噪，并在數據庫中查詢該去噪后指令所對應的作業記錄。

4.根據權利要求3所述的一種基于MapReduce的分布式計算方法，其特征是，所述方法第2步中，MapReduce編譯工具還為去噪后的指令計算指紋值；MapReduce編譯工具在數據庫中查詢去噪后的指令的指紋值所對應的作業記錄。

5.根據權利要求1所述的一種基于MapReduce的分布式計算方法，其特征是，所述方法第2步中，MapReduce編譯工具為每個作業設置中間數據的大小，還以在數據庫中查詢到的作業記錄中的中間數據的大小替換相應作業所設置的中間數據的大小。

6.根據權利要求1所述的一種基于MapReduce的分布式計算方法，其特征是，所述方法第2步中，所述去噪是指將指令中的無關變化量與自定義量去除掉。

7.根據權利要求3所述的一種基于MapReduce的分布式計算方法，其特征是，所述計算指紋值是指對去噪后的指令采用任何具有唯一映射關系的函數計算函數值。

8.根據權利要求1所述的一種基于MapReduce的分布式計算方法，其特征是，所述數據庫中記錄有以往的成功作業記錄；每個作業記錄包括：該作業所對應的去噪后指令、該作業的編號、該作業采用的歸約器數量。

9.根據權利要求4或8所述的一種基于MapReduce的分布式計算方法，其特征是，每個作業記錄中，以該作業所對應的去噪后指令的指紋值，替代該作業所對應的去噪后指令。

10.根據權利要求5或6所述的一種基于MapReduce的分布式計算方法，其特征是，每個作業記錄中，以該作業的歸約器所處理的中間數據的大小，替代該作業采用的歸約器數量。

11.一種基于MapReduce的分布式計算裝置，其特征是，包括：

用于發送指令的裝置；

用于將指令編譯為一個或多個作業的裝置；

用于在數據庫中查詢該指令所對應的作業記錄的裝置；

用于以查詢到的作業記錄中的歸約器數量作為相應作業歸約器數量的裝置；

用于提交作業與對應的歸約器數量的裝置；

用于按照接收的歸約器數量處理每個作業的裝置；

用于輸出作業結果的裝置；

用于將成功作業記錄儲存在數據庫中的裝置；

用于將作業結果發送給客戶應用程序和/或存儲于分布式文件系統的裝置。