[發明專利]分布式數據處理方法、裝置、服務器和系統

有效

• 申請號: 201710783415.4
• 申請日: 2017-09-04
• 公開（公告）號: CN107508901B
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 黃世清
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 曹蓓

1.一種分布式數據處理方法，包括：

任務分配服務器根據數據處理服務器的數量將待處理數據平均分片，獲取所述待處理數據的分片信息，包括：所述任務分配服務器按照數據處理服務器的數量將所述待處理數據平均分片，獲取單服務器處理數據的信息；根據單個所述數據處理服務器的預定線程數量將所述單服務器處理數據分片，獲取所述分片信息；

所述任務分配服務器將各個所述分片信息發送給對應的數據處理服務器，包括：任務分配服務器將所述分片信息以預定策略存入數據庫中，以便所述數據處理服務器的多個線程同時監聽所述數據庫，根據符合所述預定策略的更新信息獲取所述分片信息，根據所述分片信息獲取并處理待處理數據分片，獲取所述待處理數據分片的線程完成所述待處理數據分片后繼續監聽所述數據庫；

所述任務分配服務器根據各個所述數據處理服務器的反饋結果確定數據處理結果。

2.根據權利要求1所述的方法，其中，所述任務分配服務器按照數據處理服務器的數量將所述待處理數據平均分片，獲取單服務器處理數據的信息包括：

通過哈希算法為各個所述數據處理服務器分配數據，獲取初分配單服務器處理數據的信息；

通過數據均衡算法處理所述初分配單服務器處理數據以使數據均衡分配，獲取所述單服務器處理數據的信息。

3.根據權利要求1所述的方法，其中，

所述數據處理服務器的多個線程同時監聽所述數據庫；

當多個所述線程均獲取分片信息時，最先獲取所述分片信息對應的待處理數據分片的線程處理所述待處理數據分片，其他線程繼續監聽所述數據庫；

所述獲取所述待處理數據分片的線程完成所述待處理數據分片后繼續監聽所述數據庫；

循環執行上述過程直至處理完成所有分配給所述數據處理服務器的待處理數據。

4.根據權利要求1所述的方法，還包括：

所述任務分配服務器預先向各個所述數據處理服務器發送用于處理所述待處理數據的算法或算法標識，以便各個所述數據處理服務器采用對應的算法處理所述待處理數據。

5.根據權利要求1所述的方法，其中，

所述分片信息包括所述待處理數據的來源信息、數據表信息、分片字段信息、過濾條件信息中的一種或多種，以及目的數據處理服務器的地址信息；

所述待處理數據包括存儲于數據庫中的數據、來自外部設備的數據以及通過網絡獲取的數據中的一種或多種。

6.一種分布式計算裝置，包括：

數據分片單元，用于根據數據處理服務器的數量將待處理數據平均分片，獲取所述待處理數據的分片信息，包括:

第一分片子單元，用于按照數據處理服務器的數量將所述待處理數據平均分片，獲取單服務器處理數據的信息；

第二分片子單元，用于根據單個所述數據處理服務器的預定線程數量將所述單服務器處理數據分片，獲取所述分片信息；

分片信息分發單元，用于將各個所述分片信息發送給對應的數據處理服務器，包括：將所述分片信息以預定策略存入數據庫中，以便所述數據處理服務器的多個線程同時監聽所述數據庫時，根據符合所述預定策略的更新信息獲取所述分片信息，根據所述分片信息獲取并處理待處理數據分片，獲取所述待處理數據分片的線程完成所述待處理數據分片后繼續監聽所述數據庫；

結果獲取單元，用于根據各個所述數據處理服務器的反饋信息確定數據處理結果。

7.根據權利要求6所述的裝置，其中，所述第一分片子單元用于：

通過哈希算法為各個所述數據處理服務器分配數據，獲取初分配單服務器處理數據的信息；

通過數據均衡算法處理所述初分配單服務器處理數據，獲取所述單服務器處理數據的信息。

8.根據權利要求6所述的裝置，還包括：

算法指定單元，用于向各個所述數據處理服務器發送用于處理所述待處理數據的算法或算法標識，以便各個所述數據處理服務器采用對應的算法處理所述待處理數據。