[發(fā)明專(zhuān)利]一種處理數(shù)據(jù)的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410154133.4
• 申請(qǐng)日: 2014-04-17
• 公開(kāi)（公告）號(hào): CN103916481B
• 公開(kāi)（公告）日: 2017-05-10
• 發(fā)明（設(shè)計(jì)）人: 梁秋實(shí)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京京東尚科信息技術(shù)有限公司
• 主分類(lèi)號(hào): H04L29/08
• 分類(lèi)號(hào): H04L29/08
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司11219
• 代理人: 劉光明,陸錦華

1.一種處理數(shù)據(jù)的方法，應(yīng)用于分布式數(shù)據(jù)處理系統(tǒng)中，其特征在于，該方法包括：

當(dāng)前節(jié)點(diǎn)向zookeeper服務(wù)器進(jìn)行注冊(cè)并觸發(fā)對(duì)所述分布式數(shù)據(jù)處理系統(tǒng)中的所有其他節(jié)點(diǎn)的監(jiān)聽(tīng)；

當(dāng)前節(jié)點(diǎn)在從所述注冊(cè)完成時(shí)起，于預(yù)設(shè)時(shí)長(zhǎng)內(nèi)監(jiān)聽(tīng)到全部所述其他節(jié)點(diǎn)對(duì)新增節(jié)點(diǎn)事件做出確認(rèn)的事件的情況下，確定由自身來(lái)處理的數(shù)據(jù)塊；

當(dāng)前節(jié)點(diǎn)在從所述注冊(cè)完成時(shí)起，經(jīng)預(yù)設(shè)時(shí)長(zhǎng)后仍未監(jiān)聽(tīng)到至少一個(gè)所述其他節(jié)點(diǎn)對(duì)所述新增節(jié)點(diǎn)事件做出確認(rèn)的事件的情況下，判斷zookeeper服務(wù)器中是否保存該至少一個(gè)所述其他節(jié)點(diǎn)對(duì)所述新增節(jié)點(diǎn)事件做出確認(rèn)的信息，若是，則確定由自身來(lái)處理的數(shù)據(jù)塊，否則重新向zookeeper服務(wù)器進(jìn)行注冊(cè)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述注冊(cè)完成之后，在所述當(dāng)前節(jié)點(diǎn)監(jiān)聽(tīng)到一條節(jié)點(diǎn)變動(dòng)事件的情況下，該方法還包括：

所述當(dāng)前節(jié)點(diǎn)確定變動(dòng)節(jié)點(diǎn)，并且停止當(dāng)前的數(shù)據(jù)處理，以及在所述zookeeper服務(wù)器中保存對(duì)所述節(jié)點(diǎn)變動(dòng)事件做出的確認(rèn)的信息；

所述當(dāng)前節(jié)點(diǎn)在從監(jiān)聽(tīng)到所述節(jié)點(diǎn)變動(dòng)事件時(shí)起，于預(yù)設(shè)時(shí)長(zhǎng)內(nèi)監(jiān)聽(tīng)到所述系統(tǒng)的所有已有節(jié)點(diǎn)對(duì)所述節(jié)點(diǎn)變動(dòng)事件做出確認(rèn)的事件的情況下，確定由自身來(lái)處理的數(shù)據(jù)塊。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述注冊(cè)完成之后，在所述當(dāng)前節(jié)點(diǎn)監(jiān)聽(tīng)到一條節(jié)點(diǎn)變動(dòng)事件的情況下，該方法還包括：

所述當(dāng)前節(jié)點(diǎn)確定變動(dòng)節(jié)點(diǎn)，并且停止當(dāng)前的數(shù)據(jù)處理，以及在所述zookeeper服務(wù)器中保存對(duì)所述節(jié)點(diǎn)變動(dòng)事件做出的確認(rèn)的信息；

所述當(dāng)前節(jié)點(diǎn)在從監(jiān)聽(tīng)到所述節(jié)點(diǎn)變動(dòng)事件時(shí)起，經(jīng)預(yù)設(shè)時(shí)長(zhǎng)后仍未監(jiān)聽(tīng)到所述系統(tǒng)的至少一個(gè)其他節(jié)點(diǎn)對(duì)所述節(jié)點(diǎn)變動(dòng)事件做出確認(rèn)的事件的情況下，判斷zookeeper服務(wù)器中是否保存未監(jiān)聽(tīng)到的其他節(jié)點(diǎn)對(duì)所述節(jié)點(diǎn)變動(dòng)事件做出確認(rèn)的信息，若是，則所述當(dāng)前節(jié)點(diǎn)確定由自身來(lái)處理的數(shù)據(jù)塊。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述注冊(cè)完成之后，在所述當(dāng)前節(jié)點(diǎn)監(jiān)聽(tīng)到一條節(jié)點(diǎn)變動(dòng)事件的情況下，該方法還包括：

所述當(dāng)前節(jié)點(diǎn)確定變動(dòng)節(jié)點(diǎn)，并且停止當(dāng)前的數(shù)據(jù)處理，以及在所述zookeeper服務(wù)器中保存對(duì)所述節(jié)點(diǎn)變動(dòng)事件做出的確認(rèn)的信息；

所述當(dāng)前節(jié)點(diǎn)在從監(jiān)聽(tīng)到所述節(jié)點(diǎn)變動(dòng)事件時(shí)起，經(jīng)預(yù)設(shè)時(shí)長(zhǎng)后仍未監(jiān)聽(tīng)到所述系統(tǒng)的至少一個(gè)其他節(jié)點(diǎn)對(duì)所述節(jié)點(diǎn)變動(dòng)事件做出確認(rèn)的事件的情況下，判斷zookeeper服務(wù)器中是否保存該其他節(jié)點(diǎn)對(duì)所述節(jié)點(diǎn)變動(dòng)事件做出確認(rèn)的信息，若否，則保持停止當(dāng)前的數(shù)據(jù)處理，并保持對(duì)該其他節(jié)點(diǎn)的監(jiān)聽(tīng)。

5.根據(jù)權(quán)利要求2，3或4所述的方法，其特征在于，所述當(dāng)前節(jié)點(diǎn)確定變動(dòng)節(jié)點(diǎn)的步驟包括：所述當(dāng)前節(jié)點(diǎn)根據(jù)本地保存的所述系統(tǒng)的各節(jié)點(diǎn)注冊(cè)信息和所述zookeeper服務(wù)器中保存的所述系統(tǒng)的各節(jié)點(diǎn)注冊(cè)信息間的差異計(jì)算出變動(dòng)節(jié)點(diǎn)。

6.根據(jù)權(quán)利要求2，3或4所述的方法，其特征在于，所述當(dāng)前節(jié)點(diǎn)確定變動(dòng)節(jié)點(diǎn)的步驟之后，還包括：所述當(dāng)前節(jié)點(diǎn)更新本地保存的所述系統(tǒng)的各節(jié)點(diǎn)注冊(cè)信息。

7.一種處理數(shù)據(jù)的裝置，設(shè)置在分布式數(shù)據(jù)處理系統(tǒng)的節(jié)點(diǎn)中，其特征在于，該裝置包括：

注冊(cè)模塊，用于向zookeeper服務(wù)器注冊(cè)所述裝置所在節(jié)點(diǎn)；

觸發(fā)模塊，用于觸發(fā)對(duì)所述分布式數(shù)據(jù)處理系統(tǒng)中的所有其他節(jié)點(diǎn)的監(jiān)聽(tīng)；

接收模塊，用于接收所述zookeeper服務(wù)器發(fā)送的事件；

第一判斷模塊，用于判斷在預(yù)設(shè)時(shí)長(zhǎng)內(nèi)所述接收模塊是否收到全部所述其他節(jié)點(diǎn)對(duì)新增節(jié)點(diǎn)事件做出確認(rèn)的事件；

分塊模塊，用于在所述第一判斷模塊的判斷結(jié)果為是的情況下，確定由所述裝置所在節(jié)點(diǎn)來(lái)處理的數(shù)據(jù)塊；

所述注冊(cè)模塊還用于在所述第一判斷模塊的判斷結(jié)果為否的情況下，再次向zookeeper服務(wù)器注冊(cè)所述裝置所在節(jié)點(diǎn)。