[發明專利]數據處理方法和分布式數據處理系統

有效

• 申請號: 201410509935.2
• 申請日: 2014-09-28
• 公開（公告）號: CN104320433B
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 張侃;蔡適擇;王永光;劉彥偉
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 姜勁;金潔

1.一種數據處理方法，其特征在于，包括：

分布式系統的中心節點在接收到數據處理任務后，從多個執行節點中確定一個節點作為執行該數據處理任務的任務執行節點，然后將該數據處理任務提供給該任務執行節點；

所述任務執行節點在得到所述數據處理任務后，啟動任務執行線程，并且監控該任務的執行線程的執行狀態，在執行異常的情況下，所述任務執行節點將所述數據處理任務向所述中心節點提交；

其中，從多個執行節點中確定一個節點作為執行該數據處理任務的任務執行節點的步驟包括：判斷當前所述多個執行節點中是否存在計算資源符合預設標準的節點，若是，從中選擇一個節點作為執行該數據處理任務的任務執行節點，否則，延時之后繼續進行該判斷直至存在計算資源符合預設標準的執行節點。

2.根據權利要求1所述的數據處理方法，其特征在于，將該數據處理任務提供給該任務執行節點的步驟包括：中心節點將該數據處理任務發送給zookeeper節點，由該zookeeper節點將該數據處理任務發送給該任務執行節點。

3.根據權利要求2所述的數據處理方法，其特征在于，

所述中心節點是以主從備份的方式設置的兩個中心節點中的主節點；

所述方法還包括：所述zookeeper節點保存所述分布式系統中的各個節點和任務的狀態信息；

在所述主節點在所述兩個中心節點之間切換的情況下，切換后的主節點從所述zookeeper節點中獲取所述分布式系統中的各個節點和任務的狀態信息。

4.一種分布式數據處理系統，其特征在于，包括中心節點和執行節點，其中：

所述中心節點用于在接收到數據處理任務后，從多個所述執行節點中確定一個節點作為執行該數據處理任務的任務執行節點，然后將該數據處理任務提供給該任務執行節點；

所述執行節點，用于在得到所述數據處理任務后，啟動任務執行線程，并且監控該任務的執行線程的執行狀態，以及用于在執行異常的情況下，將所述數據處理任務向所述中心節點提交；

其中，所述中心節點還用于：判斷當前所述多個執行節點中是否存在計算資源符合預設標準的節點，若是，從中選擇一個節點作為執行該數據處理任務的任務執行節點，否則，延時之后繼續進行該判斷直至存在計算資源符合預設標準的執行節點。

5.根據權利要求4所述的系統，其特征在于，

所述系統還包括zookeeper節點；

所述中心節點還用于將數據處理任務發送給zookeeper節點；

所述zookeeper節點用于將所述中心節點發來的數據處理任務發送給任務執行節點。

6.根據權利要求5所述的系統，其特征在于，

所述中心節點有兩個，以主從備份方式設置；

所述zookeeper節點還用于保存所述分布式系統中的各個節點和任務的狀態信息；

所述中心節點還用于在切換成為主節點的情況下，從所述zookeeper節點中獲取所述分布式系統中的各個節點和任務的狀態信息。