[發明專利]分布式統計分析系統的配置方法及分布式統計分析系統

有效

• 申請號: 201710105031.7
• 申請日: 2017-02-25
• 公開（公告）號: CN106936899B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 何毅榮;龔朕;鄭建全
• 申請（專利權）人: 九次方大數據信息集團有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 安徽專燁知識產權代理有限公司 34194
• 代理人: 陳靜

本發明公開了一種分布式統計分析系統的配置方法，所述分布式統計分析系統包括ZooKeeper集群，服務節點和計算節點集群，所述方法包括：選舉計算節點集群中的領導節點，根據數據分片原則在各計算節點中分片數據，并在數據分片的副本中選舉領導分片；服務節點收到統計分析請求后，向領導節點申請計算節點，領導節點將任務量最小的計算節點反饋給服務節點；服務節點獲得反饋的計算節點后，將統計請求發送給該計算節點；計算節點查找領導分片并向領導分片申請得到空閑的數據分片副本，并將統計任務分配給該數據分片副本執行統計任務。本發明還提供了基于上述配置方法的分布式統計分析系統。

技術領域

本發明涉及一種分布式統計分析系統的配置方法，特別是一種配置集群管理、數據存儲及遷移、統計分析查詢和統計任務負載分擔功能的配置方法，以及由該配置方法得到的分布式統計分析系統。

背景技術

分布式系統是一種由多個處理資源相互連接在一起的計算機系統。這些處理資源又可以稱為節點設備，在統一的控制下來執行同一人物。如中國專利CN102497280就公開了一種分布式系統，其能夠實現多個設備節點之間的相互感知。提高了管理效率。但是其并沒有公開對各設備節點具體執行任務的管理和配置。

分布式系統通常需要具備統計分析的功能。但是目前的分布式統計系統中并沒有根據處理資源的實際運行情況來在設備節點之間分配統計分析任務。因此會發生處理資源沒有被充分利用的情況。

發明內容

本發明提供一種分布式統計分析系統的配置方法和由該配置方法得到的分布式統計分析系統。保證系統的高可用性和高可擴展性，并實現統計分析任務的負載分擔。

為解決上述問題，第一方面，本發明提供一種分布式統計分析系統的配置方法，所述分布式統計分析系統包括ZooKeeper集群，服務節點和計算節點集群，所述方法包括：

選舉計算節點集群中的領導節點，根據數據分片原則在各計算節點中分片數據，并在數據分片的副本中選舉領導分片；

服務節點收到統計分析請求后，向領導節點申請計算節點，領導節點將任務量最小的計算節點反饋給服務節點；

服務節點獲得反饋的計算節點后，將統計請求發送給該計算節點；

計算節點查找領導分片并向領導分片申請得到空閑的數據分片副本，并將統計任務分配給該數據片副本執行統計任務。

可選地或優選地， 所述方法還包括：

服務節點將更新的數據發送給領導節點，領導節點查找到對應的數據分片的所有副本并將數據同步到該數據分片的各個副本。

可選地或優選地，所述數據同步采用兩階段提交協議，若全部成功，則返回成功，若任一個副本失敗，則回退并返回失敗。

可選地或優選地， 所述方法還包括：在調整數據分片個數或分片規則的情況下，重新映射數據和數據分片的關系。

可選地或優選地，所述方法還包括在設備狀態發生變化時，對分布式統計系統進行調整的步驟，所述調整包括以下至少一種：

當檢測到設備故障時，檢查各shard副本的個數及分布情況，若各shard副本的個數差別較大，則對shard進行分布調整和遷移，以保證各shard副本的個數的基本相同；以及

當檢測到新設備加入時，檢查各shard副本的個數和分布情況，若shard的副本的個數有差異，則將副本個數少的shard復制到新設備，若個數相同，則重新進行分片。

可選地或優選地，所述計算節點查找領導分片并向領導分片申請得到空閑的數據分片副本，并將統計任務分配給該數據片副本執行統計任務包括：