[發(fā)明專利]簡化并行計算系統(tǒng)中的傳輸?shù)南到y(tǒng)與方法

有效

• 申請?zhí)枺?/td>: 201010104978.4
• 申請日: 2010-01-29
• 公開（公告）號: CN102141995A
• 公開（公告）日: 2011-08-03
• 發(fā)明（設(shè)計）人: 趙邑新;林海波;向哲;溫嘉佳
• 申請（專利權(quán)）人: 國際商業(yè)機(jī)器公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市中咨律師事務(wù)所 11247
• 代理人: 于靜;周良玉

1.一種用于簡化分布式并行計算系統(tǒng)中的傳輸?shù)姆椒ǎ龇植际讲⑿杏嬎阆到y(tǒng)包括至少一個產(chǎn)生中間結(jié)果的并行計算單元，所述方法包括：

識別輸入到所述并行計算單元的數(shù)據(jù)中的至少一個項目；

根據(jù)簡化編碼算法，建立所述至少一個項目與其索引之間的對應(yīng)關(guān)系，所述索引的平均大小小于所述至少一個項目的平均大小；

根據(jù)所述對應(yīng)關(guān)系，將所述至少一個項目替換為其對應(yīng)的索引；

基于所述索引由所述并行計算單元產(chǎn)生簡化的中間結(jié)果；以及

傳輸所述簡化的中間結(jié)果。

2.根據(jù)權(quán)利要求1的方法，其中所述分布式并行計算系統(tǒng)是采用MapReduce模型的計算系統(tǒng)，所述并行計算單元是映射操作單元。

3.根據(jù)權(quán)利要求1的方法，還包括：將所述對應(yīng)關(guān)系注冊到中央字典庫。

4.根據(jù)權(quán)利要求1的方法，還包括：將所述對應(yīng)關(guān)系存儲在所述并行計算單元本地。

5.根據(jù)權(quán)利要求1的方法，其中所述簡化編碼算法包括哈希算法。

6.根據(jù)權(quán)利要求1的方法，其中所述替換的步驟包括：在所述并行計算單元執(zhí)行并行計算之前，將所述至少一個項目替換為其對應(yīng)的索引。

7.根據(jù)權(quán)利要求1的方法，還包括：

獲取所述項目與索引之間的對應(yīng)關(guān)系；以及

根據(jù)所述對應(yīng)關(guān)系，將基于所述簡化的中間結(jié)果而獲得的處理結(jié)果中的所述索引替換為其對應(yīng)的項目。

8.根據(jù)權(quán)利要求7的方法，其中所述獲取對應(yīng)關(guān)系的步驟包括：通過查詢中央字典庫中的條目而獲得所述對應(yīng)關(guān)系。

9.根據(jù)權(quán)利要求7的方法，其中所述獲取對應(yīng)關(guān)系的步驟包括：響應(yīng)于用戶對部分結(jié)果的請求，基于該部分結(jié)果所涉及的部分項目獲得與所述部分項目相關(guān)聯(lián)的部分對應(yīng)關(guān)系以及與所述部分項目相對應(yīng)的部分索引。

10.根據(jù)權(quán)利要求9的方法，其中所述替換步驟包括：根據(jù)所述部分索引在處理結(jié)果中獲得與所請求的部分結(jié)果相關(guān)的部分?jǐn)?shù)據(jù)，并根據(jù)所述部分對應(yīng)關(guān)系將所述部分?jǐn)?shù)據(jù)中的部分索引替換為對應(yīng)的部分項目。

11.一種用于簡化分布式并行計算系統(tǒng)中的傳輸?shù)南到y(tǒng)，所述分布式并行計算系統(tǒng)包括至少一個產(chǎn)生中間結(jié)果的并行計算單元，所述系統(tǒng)包括簡化裝置，包括：

項目識別單元，配置用于識別輸入到所述并行計算單元的數(shù)據(jù)中的至少一個項目；

對應(yīng)建立單元，配置用于根據(jù)簡化編碼算法，建立所述至少一個項目與其索引之間的對應(yīng)關(guān)系，所述索引的平均大小小于所述至少一個項目的平均大小；以及

項目替換單元，配置用于根據(jù)所述對應(yīng)關(guān)系，將所述至少一個項目替換為其對應(yīng)的索引，使得所述并行計算單元能夠基于所述索引產(chǎn)生簡化的中間結(jié)果，并由所述并行計算單元傳輸所述簡化的中間結(jié)果。

12.根據(jù)權(quán)利要求11的系統(tǒng)，其中所述分布式并行計算系統(tǒng)是采用MapReduce模型的計算系統(tǒng)，所述并行計算單元是映射操作單元。

13.根據(jù)權(quán)利要求11的系統(tǒng)，其中所述對應(yīng)建立單元還配置為，將所述對應(yīng)關(guān)系注冊到中央字典庫。

14.根據(jù)權(quán)利要求11的系統(tǒng)，其中所述對應(yīng)建立單元還配置為，將所述對應(yīng)關(guān)系存儲在所述并行計算單元本地。

15.根據(jù)權(quán)利要求11的系統(tǒng)，其中所述簡化編碼算法包括哈希算法。

16.根據(jù)權(quán)利要求11的系統(tǒng)，其中所述項目替換單元進(jìn)一步配置為，在所述并行計算單元執(zhí)行并行計算之前，將所述至少一個項目替換為其對應(yīng)的索引。

17.根據(jù)權(quán)利要求11的系統(tǒng)，還包括復(fù)原裝置，所述復(fù)原裝置包括：

對應(yīng)獲取單元，配置用于獲取所述項目與索引之間的對應(yīng)關(guān)系；以及

結(jié)果替換單元，配置用于根據(jù)所述對應(yīng)關(guān)系，將基于所述簡化的中間結(jié)果而獲得的處理結(jié)果中的所述索引替換為其對應(yīng)的項目。

18.根據(jù)權(quán)利要求17的系統(tǒng)，其中所述對應(yīng)獲取單元配置為通過查詢中央字典庫中的條目而獲得所述對應(yīng)關(guān)系。

19.根據(jù)權(quán)利要求17的系統(tǒng)，其中所述對應(yīng)獲取單元配置為，響應(yīng)于用戶對部分結(jié)果的請求，基于該部分結(jié)果所涉及的部分項目獲得與所述部分項目相關(guān)聯(lián)的部分對應(yīng)關(guān)系以及與所述部分項目相對應(yīng)的部分索引。

20.根據(jù)權(quán)利要求19的系統(tǒng)，其中所述結(jié)果替換單元配置為，根據(jù)所述部分索引在處理結(jié)果中獲得與所請求的部分結(jié)果相關(guān)的部分?jǐn)?shù)據(jù)，并根據(jù)所述部分對應(yīng)關(guān)系將所述部分?jǐn)?shù)據(jù)中的部分索引替換為對應(yīng)的部分項目。