[發明專利]分布式統計分析系統的配置方法及分布式統計分析系統

有效

• 申請號: 201710105031.7
• 申請日: 2017-02-25
• 公開（公告）號: CN106936899B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 何毅榮;龔朕;鄭建全
• 申請（專利權）人: 九次方大數據信息集團有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 安徽專燁知識產權代理有限公司 34194
• 代理人: 陳靜

1.分布式統計分析系統的配置方法，所述分布式統計分析系統包括ZooKeeper集群，服務節點和計算節點集群，其特征在于，所述方法包括：

選舉計算節點集群中的領導節點，根據數據分片原則在各計算節點中分片數據，并在數據分片的副本中選舉領導分片；

服務節點收到統計分析請求后，向領導節點申請計算節點，領導節點將任務量最小的計算節點反饋給服務節點；服務節點獲得反饋的計算節點后，將統計請求發送給該計算節點；計算節點查找領導分片并向領導分片申請得到空閑的數據分片副本，并將統計任務分配給該數據分片副本執行統計任務；

在調整數據分片個數或分片規則的情況下，重新映射數據和數據分片的關系；

數據遷移分為兩種情況：復制分片的單個副本和修改分片個數重新分片；在數據遷移的過程中，不允許數據的更新操作；

在復制副本時，如果遇到設備故障或添加新設備的情況，若需要從領導分片同步數據，則采用復制整個副本的策略；

所述計算節點查找領導分片并向領導分片申請得到空閑的數據分片副本，并將統計任務分配給該數據分片副本執行統計任務包括：

執行計算任務的所述計算節點將統計作業拆分成多個任務，并根據分片規則將需要統計的ID列表進行分組，計算節點將任務和每組ID發送給對應的領導分片，由領導分片負責選擇交由負載空閑的數據分片副本執行任務，在所有的任務執行完畢后，執行節點收集所有計算結果并對結果進行合并，繼而返回給服務節點；如果統計作業需要多次訪問數據，則由執行節點在收集合并結果后，根據統計作業需求再次進行任務拆分和結果合并，直到統計作業運行完畢為止。

2.根據權利要求1所述的分布式統計分析系統的配置方法，其特征在于，所述方法還包括：

服務節點將更新的數據發送給領導節點，領導節點查找到對應的數據分片的所有副本并將數據同步到該數據分片的各個副本。

3.根據權利要求2所述的分布式統計分析系統的配置方法，其特征在于，所述數據同步采用兩階段提交協議，若全部成功，則返回成功，若任一個副本失敗，則回退并返回失敗。

4.一種分布式統計分析系統，包括ZooKeeper集群，服務節點和計算節點集群，其特征在于，還包括：

集群管理模塊，用于選舉計算節點集群中的領導節點，根據數據分片原則在各計算節點中分片數據，并在數據分片的副本中選舉領導分片；

統計分析模塊，用于服務節點收到統計分析請求后，向領導節點申請計算節點，領導節點將任務量最小的計算節點反饋給服務節點；服務節點獲得反饋的計算節點后，將統計請求發送給該計算節點；計算節點查找領導分片并向領導分片申請得到空閑的數據分片副本，并將統計任務分配給該數據分片副本執行統計任務；

在調整數據分片個數或分片規則的情況下，重新映射數據和數據分片的關系；

數據遷移分為兩種情況：復制分片的單個副本和修改分片個數重新分片；在數據遷移的過程中，不允許數據的更新操作；

在復制副本時，如果遇到設備故障或添加新設備的情況，若需要從領導分片同步數據，則采用復制整個副本的策略；

所述計算節點查找領導分片并向領導分片申請得到空閑的數據分片副本，并將統計任務分配給該數據分片副本執行統計任務包括：

執行計算任務的所述計算節點將統計作業拆分成多個任務，并根據分片規則將需要統計的ID列表進行分組，計算節點將任務和每組ID發送給對應的領導分片，由領導分片負責選擇交由負載空閑的數據分片副本執行任務，在所有的任務執行完畢后，執行節點收集所有計算結果并對結果進行合并，繼而返回給服務節點；如果統計作業需要多次訪問數據，則由執行節點在收集合并結果后，根據統計作業需求再次進行任務拆分和結果合并，直到統計作業運行完畢為止。

5.根據權利要求4所述的分布式統計分析系統，其特征在于，還包括：

數據存儲模塊，用于服務節點將更新的數據發送給領導節點，領導節點查找到對應的數據分片的所有副本并將數據同步到該數據分片的各個副本。

6.根據權利要求5所述的分布式統計分析系統，其特征在于，所述數據同步采用兩階段提交協議，若全部成功，則返回成功，若任一個副本失敗，則回退并返回失敗。