[發明專利]分布式計算系統的中間文件處理裝置及方法

有效

• 申請號: 201010146041.3
• 申請日: 2010-04-07
• 公開（公告）號: CN102214184A
• 公開（公告）日: 2011-10-12
• 發明（設計）人: 伍海君;趙大勇;楊紹鵬;王宇;歐貽葆;闕太富
• 申請（專利權）人: 騰訊科技(深圳)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 何平;曾旻輝

1.一種分布式計算系統的中間文件處理裝置，所述裝置基于Map-Reduce框架，包括Map單元和Reduce單元，其特征在于，所述Map單元包括：中間文件生成模塊，用于在處理Map任務后按照預設文件大小生成多個中間文件；傳輸模塊，按照多個中間文件的生成順序依次將所述中間文件傳輸至Reduce單元；所述Reduce單元包括接收所述中間文件的通信模塊，以及對所述中間文件進行計算、輸出最終結果的計算模塊。

2.根據權利要求1所述的分布式計算系統的中間文件處理裝置，其特征在于，所述Map單元還包括：

描述文件生成模塊，生成記錄所述中間文件的信息的Map描述文件，所述中間文件的信息包括：文件長度、文件名稱和文件哈希值；

所述Reduce單元讀取所述中間文件后，獲取所述中間文件的信息，將所述中間文件的信息存入Reduce描述文件中。

3.根據權利要求2所述的分布式計算系統的中間文件處理裝置，其特征在于，所述Map單元還包括：

Map檢測模塊，根據所述Map描述文件檢測生成的中間文件個數是否超過第一閾值；

Map控制模塊，當所述Map檢測模塊檢測到生成的中間文件個數超過第一閾值時，控制暫停中間文件的生成。

4.根據權利要求3所述的分布式計算系統的中間文件處理裝置，其特征在于，所述Map控制模塊還用于當Map單元傳輸完一個中間文件后，則刪除該傳輸完的中間文件。

5.根據權利要求2所述的分布式計算系統的中間文件處理裝置，其特征在于，所述Reduce單元還包括：

Reduce檢測模塊，用于根據所述Reduce描述文件判斷Reduce單元臨時保存的中間文件個數是否超過第二閾值；

Reduce控制模塊，當所述Reduce檢測模塊檢測到臨時保存的中間文件個數超過第二閾值時，通知所述Map單元暫停中間文件的傳輸，當檢測到臨時保存的中間文件個數未超過第二閾值時，通知所述Map單元繼續傳輸中間文件。

6.根據權利要求5所述的分布式計算系統的中間文件處理裝置，其特征在于，所述Reduce控制模塊還用于當所述計算模塊計算完畢后刪除Reduce單元臨時保存的中間文件。

7.一種分布式計算系統的中間文件處理方法，所述方法基于Map-Reduce框架，包括以下步驟：

處理Map任務，按照預設文件大小生成多個中間文件；

按照多個中間文件的生成順序依次將中間文件傳輸至Reduce單元；

所述Reduce單元接收中間文件，對中間文件進行計算，輸出最終結果。

8.根據權利要求7所述的分布式計算系統的中間文件處理方法，其特征在于，所述生成多個中間文件的步驟還包括通過Map描述文件記錄所述中間文件的信息，包括：文件長度、文件名稱和文件哈希值；所述Reduce單元接收中間文件的步驟還包括：獲取中間文件的信息并存入Reduce描述文件中。

9.根據權利要求8所述的分布式計算系統的中間文件處理方法，其特征在于，所述方法還包括：

根據Map描述文件檢測生成的中間文件個數是否超過第一閾值，若是，則

控制暫停中間文件的生成。

10.根據權利要求7所述的分布式計算系統的中間文件處理方法，其特征在于，所述按照多個中間文件的生成順序將中間文件傳輸至Reduce單元的步驟還包括：當向Reduce單元傳輸完一個中間文件時，則刪除所述傳輸完的中間文件。

11.根據權利要求8所述的分布式計算系統的中間文件處理方法，其特征在于，所述方法還包括：

根據所述Reduce描述文件判斷Reduce單元臨時保存的中間文件個數是否超過第二閾值，若是，則暫停中間文件的傳輸，否則，繼續傳輸中間文件。

12.根據權利要求8所述的分布式計算系統的中間文件處理方法，其特征在于，所述對中間文件進行計算的步驟還包括：當中間文件的計算完畢后刪除Reduce單元臨時保存的所述中間文件。