[發明專利]一種處理數據的方法和裝置

有效

• 申請號: 201410154133.4
• 申請日: 2014-04-17
• 公開（公告）號: CN103916481B
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 梁秋實
• 申請（專利權）人: 北京京東尚科信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 中原信達知識產權代理有限責任公司11219
• 代理人: 劉光明,陸錦華

技術領域

本發明涉及計算機技術領域，特別地涉及一種處理數據的方法和裝置。

背景技術

企業大數據量的快速激增要求對業務數據分塊，進而由分布式系統對各塊進行高可用的并行處理。在分布式數據處理系統中，通常有一些通過網絡彼此互聯且在數量上可以彈性擴展的節點，每個節點都采用相同的工作方式，它們通過一定的協商機制，在協商完畢后結合一致性哈希算法，能夠自發地確定由自身處理的數據塊，然后對這些數據塊進行處理。

對于分布式系統，需要一定的協調機制，使系統在節點變動(例如新增和/或刪除一個或多個節點)的情況下系統仍具有較高的可靠性。zookeeper常被軟件系統用于構建這種協調機制，提供的功能包括：配置維護、名字服務、分布式同步、組服務等。

在實現本發明的過程中，發明人發現采用zookeeper進行任務調度，需要避免數據被不同的節點重復處理的現象。

發明內容

有鑒于此，本發明提供一種處理數據的方法和裝置，有助于避免在分布式數據處理系統中采用zookeeper進行任務調度時出現的數據被不同的節點重復處理的現象。

為實現上述目的，根據本發明的一個方面，提供了一種處理數據的方法。

本發明的處理數據的方法，應用于分布式數據處理系統中，該方法包括：當前節點向zookeeper服務器進行注冊并觸發對所述分布式數據處理系統中的所有其他節點的監聽；當前節點在從所述注冊完成時起，于預設時長內監聽到全部所述其他節點對新增節點事件做出確認的事件的情況下，確定由自身來處理的數據塊；當前節點在從所述注冊完成時起，經預設時長后仍未監聽到至少一個所述其他節點對所述新增節點事件做出確認的事件的情況下，判斷zookeeper服務器中是否保存該至少一個所述其他節點對所述新增節點事件做出確認的信息，若是，則確定由自身來處理的數據塊，否則重新向zookeeper服務器進行注冊。

可選地，所述注冊完成之后，在所述當前節點監聽到一條節點變動事件的情況下，該方法還包括：所述當前節點確定變動節點，并且停止當前的數據處理，以及在所述zookeeper服務器中保存對所述節點變動事件做出的確認的信息；所述當前節點在從監聽到所述節點變動事件時起，于預設時長內監聽到所述系統的所有已有節點對所述節點變動事件做出確認的事件的情況下，確定由自身來處理的數據塊。

可選地，所述注冊完成之后，在所述當前節點監聽到一條節點變動事件的情況下，該方法還包括：所述當前節點確定變動節點，并且停止當前的數據處理，以及在所述zookeeper服務器中保存對所述節點變動事件做出的確認的信息；所述當前節點在從監聽到所述節點變動事件時起，經預設時長后仍未監聽到所述系統的至少一個其他節點對所述節點變動事件做出確認的事件的情況下，判斷zookeeper服務器中是否保存未監聽到的其他節點對所述節點變動事件做出確認的信息，若是，則所述當前節點確定由自身來處理的數據塊。

可選地，所述注冊完成之后，在所述當前節點監聽到一條節點變動事件的情況下，該方法還包括：所述當前節點確定變動節點，并且停止當前的數據處理，以及在所述zookeeper服務器中保存對所述節點變動事件做出的確認的信息；所述當前節點在從監聽到所述節點變動事件時起，經預設時長后仍未監聽到所述系統的至少一個其他節點對所述節點變動事件做出確認的事件的情況下，判斷zookeeper服務器中是否保存該其他節點對所述節點變動事件做出確認的信息，若否，則保持停止當前的數據處理，并保持對該其他節點的監聽。

可選地，所述當前節點確定變動節點的步驟包括：所述當前節點根據本地保存的所述系統的各節點注冊信息和所述zookeeper服務器中保存的所述系統的各節點注冊信息間的差異計算出變動節點。

可選地，所述當前節點確定變動節點的步驟之后，還包括：所述當前節點更新本地保存的所述系統的各節點注冊信息。

根據本發明的另一方面，提供了一種處理數據的裝置。