[發(fā)明專利]分布式數(shù)據(jù)處理方法、裝置及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201210077763.7
• 申請(qǐng)日: 2012-03-22
• 公開(kāi)（公告）號(hào): CN103324533A
• 公開(kāi)（公告）日: 2013-09-25
• 發(fā)明（設(shè)計(jì)）人: 錢(qián)劍鋒;顏友亮
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 劉芳

1.一種分布式數(shù)據(jù)處理方法，其特征在于，包括：

根據(jù)獲取到的上傳節(jié)點(diǎn)指示信息和工作節(jié)點(diǎn)發(fā)送的任務(wù)獲取請(qǐng)求生成映射Map任務(wù)，其中，所述上傳節(jié)點(diǎn)指示信息包括多個(gè)數(shù)據(jù)塊分別對(duì)應(yīng)的工作節(jié)點(diǎn)的地址，所述Map任務(wù)對(duì)應(yīng)的數(shù)據(jù)塊分布在發(fā)送所述任務(wù)獲取請(qǐng)求的工作節(jié)點(diǎn)上；

將所述Map任務(wù)分配給所述工作節(jié)點(diǎn)，以使所述工作節(jié)點(diǎn)對(duì)所述Map任務(wù)對(duì)應(yīng)的數(shù)據(jù)塊進(jìn)行相應(yīng)地處理。

2.根據(jù)權(quán)利要求1所述的分布式數(shù)據(jù)處理方法，其特征在于，所述根據(jù)獲取到的上傳節(jié)點(diǎn)指示信息和工作節(jié)點(diǎn)發(fā)送的任務(wù)獲取請(qǐng)求生成映射Map任務(wù)之前，還包括：

根據(jù)客戶端發(fā)送所述文件信息，生成文件劃分指示信息和所述上傳節(jié)點(diǎn)指示信息，將所述文件劃分指示信息和所述上傳節(jié)點(diǎn)指示信息發(fā)送給所述客戶端，以使所述客戶端根據(jù)所述文件劃分指示信息將待處理文件劃分為多個(gè)所述數(shù)據(jù)塊，根據(jù)所述上傳節(jié)點(diǎn)指示信息將各所述數(shù)據(jù)塊分別發(fā)送給對(duì)應(yīng)的工作節(jié)點(diǎn)。

3.根據(jù)權(quán)利要求2所述的分布式數(shù)據(jù)處理方法，其特征在于，所述根據(jù)獲取到的上傳節(jié)點(diǎn)指示信息和工作節(jié)點(diǎn)發(fā)送的任務(wù)獲取請(qǐng)求生成映射Map任務(wù)，包括：

當(dāng)接收到所述工作節(jié)點(diǎn)發(fā)送的任務(wù)獲取請(qǐng)求時(shí)，根據(jù)所述上傳節(jié)點(diǎn)指示信息確定發(fā)送給所述工作節(jié)點(diǎn)的數(shù)據(jù)塊，獲取所述工作節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)塊的處理狀態(tài)；

根據(jù)所述處理狀態(tài)為未處理的數(shù)據(jù)塊生成所述Map任務(wù)，將所述Map任務(wù)對(duì)應(yīng)的數(shù)據(jù)塊的處理狀態(tài)更改為已處理。

4.根據(jù)權(quán)利要求3所述的分布式數(shù)據(jù)處理方法，其特征在于：

獲取所述工作節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)塊的處理狀態(tài)，包括：

對(duì)數(shù)據(jù)塊處理狀態(tài)記錄表進(jìn)行查詢，獲取所述工作節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)塊的處理狀態(tài)，其中，所述數(shù)據(jù)塊處理狀態(tài)記錄表用以記錄各所述數(shù)據(jù)塊的處理狀態(tài)；

將所述Map任務(wù)對(duì)應(yīng)的數(shù)據(jù)塊的處理狀態(tài)更改為已處理，包括：

將所述數(shù)據(jù)塊處理狀態(tài)記錄表中的所述Map任務(wù)對(duì)應(yīng)的數(shù)據(jù)塊的處理狀態(tài)更改為已處理。

5.根據(jù)權(quán)利要求2所述的分布式數(shù)據(jù)處理方法，其特征在于：

所述客戶端根據(jù)所述文件劃分指示信息將待處理文件劃分為多個(gè)所述數(shù)據(jù)塊，包括：

所述客戶端根據(jù)所述文件劃分指示信息將所述待處理文件劃分為多個(gè)所述數(shù)據(jù)塊，相鄰的兩個(gè)數(shù)據(jù)塊具有重疊區(qū)域，在第一個(gè)數(shù)據(jù)塊的起始位置添加首數(shù)據(jù)塊標(biāo)識(shí)，其中，所述待處理文件包括多條數(shù)據(jù)記錄，所述重疊區(qū)域的容量大于所述數(shù)據(jù)記錄的容量；

所述工作節(jié)點(diǎn)對(duì)所述Map任務(wù)對(duì)應(yīng)的數(shù)據(jù)塊進(jìn)行相應(yīng)地處理，包括：

若所述數(shù)據(jù)塊尾部的數(shù)據(jù)記錄為不完整的，則所述工作節(jié)點(diǎn)將所述不完整的數(shù)據(jù)記錄刪除，若所述數(shù)據(jù)塊的起始位置不具有所述首數(shù)據(jù)塊標(biāo)識(shí)，則將所述數(shù)據(jù)塊首部的重疊區(qū)域中包含的結(jié)束指示位對(duì)應(yīng)的數(shù)據(jù)記錄刪除，將所述數(shù)據(jù)塊中的剩余的數(shù)據(jù)記錄進(jìn)行相應(yīng)地處理，其中，所述結(jié)束指示位用以指示所述數(shù)據(jù)記錄結(jié)束。

6.一種分布式數(shù)據(jù)處理裝置，其特征在于，包括：

任務(wù)生成單元，用于根據(jù)獲取到的上傳節(jié)點(diǎn)指示信息和工作節(jié)點(diǎn)發(fā)送的任務(wù)獲取請(qǐng)求生成映射Map任務(wù)，其中，所述上傳節(jié)點(diǎn)指示信息包括多個(gè)數(shù)據(jù)塊分別對(duì)應(yīng)的工作節(jié)點(diǎn)的地址，所述Map任務(wù)對(duì)應(yīng)的數(shù)據(jù)塊分布在發(fā)送所述任務(wù)獲取請(qǐng)求的工作節(jié)點(diǎn)上；

任務(wù)分配單元，用于將所述Map任務(wù)分配給所述工作節(jié)點(diǎn)，以使所述工作節(jié)點(diǎn)對(duì)所述Map任務(wù)對(duì)應(yīng)的數(shù)據(jù)塊進(jìn)行相應(yīng)地處理。

7.根據(jù)權(quán)利要求6所述的分布式數(shù)據(jù)處理裝置，其特征在于，還包括：

指示信息生成單元，用于根據(jù)客戶端發(fā)送所述文件信息，生成文件劃分指示信息和所述上傳節(jié)點(diǎn)指示信息，將所述文件劃分指示信息和所述上傳節(jié)點(diǎn)指示信息發(fā)送給所述客戶端，以使所述客戶端根據(jù)所述文件劃分指示信息將待處理文件劃分為多個(gè)所述數(shù)據(jù)塊，根據(jù)所述上傳節(jié)點(diǎn)指示信息將各所述數(shù)據(jù)塊分別發(fā)送給對(duì)應(yīng)的工作節(jié)點(diǎn)。

8.根據(jù)權(quán)利要求7所述的分布式數(shù)據(jù)處理裝置，其特征在于，所述任務(wù)生成單元包括：

處理狀態(tài)獲取子單元，用于當(dāng)接收到所述工作節(jié)點(diǎn)發(fā)送的任務(wù)獲取請(qǐng)求時(shí)，根據(jù)所述上傳節(jié)點(diǎn)指示信息確定發(fā)送給所述工作節(jié)點(diǎn)的數(shù)據(jù)塊，獲取所述工作節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)塊的處理狀態(tài)；

任務(wù)生成子單元，用于根據(jù)所述處理狀態(tài)為未處理的數(shù)據(jù)塊生成所述Map任務(wù)，將所述Map任務(wù)對(duì)應(yīng)的數(shù)據(jù)塊的處理狀態(tài)更改為已處理。