[發明專利]一種kafka集群負載均衡方法、系統、設備以及介質

有效

• 申請號: 202011111109.4
• 申請日: 2020-10-16
• 公開（公告）號: CN112272217B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 孫俊逸
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: H04L67/1008
• 分類號: H04L67/1008;H04L67/1042
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 劉小峰;陳黎明

1.一種kafka集群負載均衡方法，其特征在于，包括以下步驟：

獲取每一個節點當前的網絡負載以及每一個節點下的數據盤當前的讀寫負載、當前的容量負載和當前的主題分區負載；

基于所述當前的網絡負載、當前的讀寫負載、當前的容量負載和當前的主題分區負載中的一個或多個判斷是否觸發調整當前的主題創建配置策略；

響應于觸發調整當前的主題創建配置策略，利用主題配置優化規則對所述當前的主題配置策略進行調整以對主題進行負載均衡。

2.如權利要求1所述的方法，其特征在于，獲取每一個節點當前的網絡負載，進一步包括：

利用預設的過濾項獲取集群中的每一個節點的入站速率和出站速率以得到所述每一個節點的網絡負載。

3.如權利要求1所述的方法，其特征在于，獲取每一個節點下的數據盤當前的讀寫負載，進一步包括：

利用預設的過濾項獲取多個所述主題的數據的讀寫速率，并將與同一個數據盤對應的若干個主題的數據的讀寫速率累加以得到所述同一個數據盤的讀寫負載。

4.如權利要求1所述的方法，其特征在于，獲取每一個節點下的數據盤當前的容量負載，進一步包括：

獲取所述數據盤保存的每一個主題數據文件中的數據索引存儲的信息大小字段以得到所述主題對應的數據大小，進而得到所述容量負載。

5.如權利要求1所述的方法，其特征在于，獲取每一個節點下當前的主題分區負載，進一步包括：

獲取主題的元信息以得到每一個主題在不同的數據盤中的分區分布信息，根據所述分區分布信息確定每一個數據盤內的主題分區負載。

6.如權利要求1所述的方法，其特征在于，響應于觸發調整當前的主題創建配置策略，利用主題配置優化規則對所述當前的主題配置策略進行調整以對主題進行負載均衡，進一步包括：

根據集群的業務場景，確定網絡負載指標以及讀寫負載指標、容量負載指標和主題分區負載指標的優先級；

根據所述優先級確定所述主題配置優化規則。

7.如權利要求6所述的方法，其特征在于，響應于觸發調整當前的主題創建配置策略，利用主題配置優化規則對所述當前的主題配置策略進行調整以對主題進行負載均衡，進一步包括：

分別對所述網絡負載指標以及所述讀寫負載指標、所述容量負載指標和所述主題分區負載指標設置閾值；

響應于所述當前的網絡負載以及所述當前的讀寫負載、所述當前的容量負載和所述當前的主題分區負載中的一個或多個大于閾值，觸發調整當前的主題創建配置策略。

8.一種kafka集群負載均衡系統，其特征在于，包括：

集群負載感知模塊，所述集群負載感知模塊配置為獲取每一個節點當前的網絡負載以及每一個節點下的數據盤當前的讀寫負載、當前的容量負載和當前的主題分區負載；

集群均衡規則模塊，所述集群均衡規則模塊配置為基于所述當前的網絡負載、當前的讀寫負載、當前的容量負載和當前的主題分區負載中的一個或多個判斷是否觸發調整當前的主題創建配置策略；

主題配置優化模塊，所述主題配置優化模塊配置為響應于觸發調整當前的主題創建配置策略，利用主題配置優化規則對所述當前的主題配置策略進行調整以對主題進行負載均衡。

9.一種計算機設備，包括：

至少一個處理器；以及

存儲器，所述存儲器存儲有可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時執行如權利要求1-7任意一項所述的方法的步驟。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時執行如權利要求1-7任意一項所述的方法的步驟。