[發明專利]一種kafka集群動態切換的方法和裝置

有效

• 申請號: 201610375007.0
• 申請日: 2016-05-31
• 公開（公告）號: CN107451147B
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 孫榮章;馮玉敏;馬澤國
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;姜勁

本發明提供一種kafka集群動態切換的方法和裝置，能夠實時監控集群的運行狀況，并動態修改集群的配置信息以實現集群的動態切換。本發明的kafka集群動態切換的方法包括：客戶端將鑒權參數發送給配置服務中心以獲取相應集群的集群配置信息；接收所述配置服務中心返回的集群配置信息并與所述客戶端上保存的先前集群配置信息作對比；如果接收到的集群配置信息與所述先前集群配置信息不同，則用接收的集群配置信息更新所述先前集群配置信息并根據更新后的集群配置信息訪問相應的集群。

技術領域

本發明涉及計算機和計算機軟件技術領域，特別地涉及一種kafka集群動態切換的方法和裝置。

背景技術

在分布式發布訂閱消息系統kafka中，當kafka集群切換、調整不同數據分區讀取時的資源占用，常常通過修改kafka(分布式發布訂閱消息系統)客戶端程序的配置參數來實現。

通常情況下，可通過修改客戶端程序以設置集群中的kafka對象參數，如位點信息、分區信息的模塊位置信息topic與密碼token的關聯關系、傳輸效率、集群配置、備份數量replications、片段segment大小等，并在參數修改完成后，將客戶端程序編譯打包并重啟任務以實現kafka集群切換等功能。

根據kafka客戶端功能實現的不同，可將kafka客戶端分為生產客戶端和消費客戶端。

如果某kafka客戶端為生產客戶端，即producer，執行數據生成的任務，則在進行kafka集群切換時的運行步驟如下：

1、確定需要進行集群切換的producer的任務和切換后的集群配置信息(例如包括：分布式應用程序協調服務器zookeeper的根目錄zkRoot、服務器上的分區信息brokers、分區信息的模塊位置信息topic等)；

2、通過程序編譯工具修改對應生產客戶端的程序，找到對應的kafka(分布式發布訂閱消息系統)集群配置參數，修改后重新編譯打包；

3、將打包后的程序上傳至服務器并更新原程序；

4、登陸服務器，停止并重新啟動producer的任務；

5、測試集群切換任務是否成功，通過kafka(分布式發布訂閱消息系統)管理界面監控流程量數據，如果生產任務對應的topic的組已經創建，并開始寫入數據，說明集群切換成功。

如果某kafka客戶端為消費客戶端，即consumer，執行數據消費的任務，則在進行kafka集群切換時的運行步驟如下：

1、確定需要進行集群切換的consumer的任務和修改后的集群配置信息(主要包括：分布式應用程序協調服務器zookeeper的根目錄zkRoot、服務器上的分區信息brokers、分區信息的模塊位置信息topic等)；

2、通過程序編譯工具打開kafka(分布式發布訂閱消息系統)消費客戶端的程序，找到對應的集群配置參數，并修改為更新后的集群配置參數，重新編譯打包；

3、將編譯后的程序上傳至服務器，并更新原程序；

4、通過kafka(分布式發布訂閱消息系統)集群監控界面，監控該消費任務對應的數據是否存在積壓，當積壓量為0時，說明原集群上的數據已經完全消費；

5、待原集群上的數據已經完全消費后，通過ssh(linux中服務器跳轉的命令)工具登陸服務器，將原消費程序停掉，修改程序里消費任務相應的參數信息，然后再啟動該consumer(消費)任務；

6、通過kafka(分布式發布訂閱消息系統)集群監控界面，測試并確認任務是從新集群消費數據，如果消費任務對應的topic(協調服務器上的分區模塊位置信息)的組已經創建，并開始消費數據，說明集群切換成功。