[發明專利]一種kafka集群負載均衡方法、系統、設備以及介質

有效

• 申請號: 202011111109.4
• 申請日: 2020-10-16
• 公開（公告）號: CN112272217B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 孫俊逸
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: H04L67/1008
• 分類號: H04L67/1008;H04L67/1042
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 劉小峰;陳黎明

本發明公開了一種kafka集群負載均衡方法，包括以下步驟：獲取每一個節點當前的網絡負載以及每一個節點下的數據盤當前的讀寫負載、當前的容量負載和當前的主題分區負載；基于當前的網絡負載、當前的讀寫負載、當前的容量負載和當前的主題分區負載中的一個或多個判斷是否觸發調整當前的主題創建配置策略；響應于觸發調整當前的主題創建配置策略，利用主題配置優化規則對當前的主題配置策略進行調整以對主題進行負載均衡。本發明還公開了一種系統、計算機設備以及可讀存儲介質。本發明提出的方案通過實時獲取集群負載狀態，從而動態調整Kafka主題配置優化規則，降低Kafka集群數據傾斜、單點負載過高、網絡阻塞發生的可能性，實現Kafka集群的資源均衡配置。

技術領域

本發明涉及kafka集群領域，具體涉及一種kafka集群負載均衡方法、系統、設備以及存儲介質。

背景技術

Kafka作為消息隊列服務，在實際業務中往往包含多個主題且承載較大的數據量，但Kafka自身不能感知集群中的讀寫負載、網絡壓力、主題分區、磁盤容量信息，創建主題時不會根據上述信息進行主題規則優化，不均衡的主機規則配置往往會導致數據傾斜、單點負載過高、網絡阻塞等問題。

發明內容

有鑒于此，為了克服上述問題的至少一個方面，本發明實施例提出一種kafka集群負載均衡方法，包括以下步驟：

獲取每一個節點當前的網絡負載以及每一個節點下的數據盤當前的讀寫負載、當前的容量負載和當前的主題分區負載；

基于所述當前的網絡負載、當前的讀寫負載、當前的容量負載和當前的主題分區負載中的一個或多個判斷是否觸發調整當前的主題創建配置策略；

響應于觸發調整當前的主題創建配置策略，利用主題配置優化規則對所述當前的主題配置策略進行調整以對主題進行負載均衡。

在一些實施例中，獲取每一個節點當前的網絡負載，進一步包括：

利用預設的過濾項獲取集群中的每一個節點的入站速率和出站速率以得到所述每一個節點的網絡負載。

在一些實施例中，獲取每一個節點下的數據盤當前的讀寫負載，進一步包括：

利用預設的過濾項獲取多個所述主題的數據的讀寫速率，并將與同一個數據盤對應的若干個主題的數據的讀寫速率累加以得到所述同一個數據盤的讀寫負載。

在一些實施例中，獲取每一個節點下的數據盤當前的容量負載，進一步包括：

獲取所述數據盤保存的每一個主題數據文件中的數據索引存儲的信息大小字段以得到所述主題對應的數據大小，進而得到所述容量負載。

在一些實施例中，獲取每一個節點下當前的主題分區負載，進一步包括：

獲取主題的元信息以得到每一個主題在不同的數據盤中的分區分布信息，根據所述分區分布信息確定每一個數據盤內的主題分區負載。

在一些實施例中，響應于觸發調整當前的主題創建配置策略，利用主題配置優化規則對所述當前的主題配置策略進行調整以對主題進行負載均衡，進一步包括：

根據集群的業務場景，確定網絡負載指標以及讀寫負載指標、容量負載指標和主題分區負載指標的優先級；

根據所述優先級確定所述主題配置優化規則。

在一些實施例中，響應于觸發調整當前的主題創建配置策略，利用主題配置優化規則對所述當前的主題配置策略進行調整以對主題進行負載均衡，進一步包括：

分別對所述網絡負載指標以及所述讀寫負載指標、所述容量負載指標和所述主題分區負載指標設置閾值；