[發明專利]一種clickhouse實時數據流負載均衡方法及系統

在審

• 申請號: 202211265815.3
• 申請日: 2022-10-17
• 公開（公告）號: CN115665161A
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 蘇貞;何安平;熊安萍
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04L67/1023
• 分類號: H04L67/1023;G06F9/50;G06N3/006
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王海軍

本發明屬于數據處理技術領域，具體涉及一種clickhouse實時數據流負載均衡方法及系統；該方法包括：采集clickhouse物理集群節點負載數據，構建一致性哈希多環結構，得到集群數據流的路由策略；根據clickhouse物理集群節點負載數據構建流量分發矩陣；根據流量分發矩陣，采用人工蜂群算法定期尋找流量分發的最優值，得到數據流量負載策略；根據路由策略和數據流量負載策略，采用flink流計算引擎對clickhouse集群的實時數據流進行動態調度；本發明可均衡各存儲節點數據存儲量，提高流量分發效率和存儲性能，實用性高。

技術領域

本發明屬于數據處理技術領域，具體涉及一種clickhouse實時數據流負載均衡方法及系統。

背景技術

隨著大數據時代的來臨，對數據的重視提到了前所未有的高度，“數據即資產”已經被廣泛認可。數據就像企業的根基，是各企業尚待發掘的財富。大數據是伴隨著信息數據爆炸式增長和網絡計算技術迅速發展而興起的一個新型概念。根據麥肯錫全球研究所的定義，大數據是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。作為信息領域的主要發展方向之一，大數據技術可以應用于大規模數據中的數據挖掘，數據分析和數據共享，并且它通過使用數據的潛在價值創造了巨大的經濟效益。與此同時，大數據可為社會和經濟發展提供解決策略。大數據服務架構是一種新的服務經濟策略，將數據作為資源，加載并提取從不同數據源收集的數據。此服務架構為消費者提供各種自定義數據處理方法，數據分析和可視化服務。

近年來，數據服務的及時性需求逐漸加強，clickhouse(高性能列式儲存數據庫)是近年因讀寫性能優異而備受關注的開源列式數據庫，但類似clickhouse這種具有數據分片(shard)概念的分布式存儲，基本都依靠distributed引擎實現了distributed(分布式)表機制，在所有分片(本地表)上建立視圖進行分布式查詢。

distributed表引擎自身不會存儲任何數據,其原理是在集群內部自動開展數據的寫入、分發、查詢、路由等工作，并通過讀取或寫入其他遠端節點上的表進行數據處理。clickhouse需要先將數據寫入到分布式表再同步到本地表,故會存在很大的性能問題。因此直接對本地表進行寫入的策略明顯優于對分布式表的寫入策略，然而數據通過流計算引擎輸出到分布式存儲介質時，由于數據流量分發的不均勻可能導致存儲節點數據存儲量級差異性較大，嚴重影響流量分發效率和存儲性能。

發明內容

針對現有技術存在的不足，本發明提出了一種clickhouse實時數據流負載均衡方法及系統，該方法包括：

S1：采集clickhouse物理集群節點負載數據；根據clickhouse物理集群節點負載數據，采用一致性哈希算法構建一致性哈希多環結構，得到集群數據流的路由策略；

S2：根據clickhouse物理集群節點負載數據構建流量分發矩陣；

S3：根據流量分發矩陣，采用人工蜂群算法定期尋找流量分發的最優值，得到數據流量負載策略；

S4：根據路由策略和數據流量負載策略，采用flink流計算引擎對clickhouse集群的實時數據流進行動態調度。

優選的，得到集群數據流的路由策略的過程包括：

S11：根據clickhouse物理集群節點負載數據計算物理節點的初始化有效權重；

S12：根據初始化有效權重計算物理節點對應的虛擬節點映射數量；

S13：根據虛擬節點映射數量，采用一致性哈希算法構建一致性哈希多環結構即集群數據流的路由負載結構；根據集群數據流的路由負載結構得到集群數據流的路由策略。