[發明專利]一種kafka集群動態切換的方法和裝置

有效

• 申請號: 201610375007.0
• 申請日: 2016-05-31
• 公開（公告）號: CN107451147B
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 孫榮章;馮玉敏;馬澤國
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;姜勁

1.一種kafka集群動態切換的方法，其特征在于，包括：

客戶端將鑒權參數發送給配置服務中心以獲取相應集群的集群配置信息；

接收所述配置服務中心返回的集群配置信息并與所述客戶端上保存的先前集群配置信息作對比；

如果接收到的集群配置信息與所述先前集群配置信息不同，則根據接收到的集群配置信息對應的集群與先前集群的關系及所述配置服務中心記錄的先前集群的資源占用情況和運行信息，用接收的集群配置信息更新所述先前集群配置信息并根據更新后的集群配置信息訪問相應的集群。

2.根據權利要求1所述的方法，其特征在于，所述客戶端包括生產客戶端和消費客戶端，所述生產客戶端生產數據并將所述數據寫入所述集群，所述消費客戶端從所述集群讀取數據并消費所述數據。

3.根據權利要求1所述的方法，其特征在于，所述客戶端定時向所述配置服務中心發送所述客戶端的心跳信息，所述心跳信息包括：速率信息、數據處理類型和數據條數，所述數據處理類型包括生產和消費。

4.根據權利要求1所述的方法，其特征在于，所述配置服務中心利用連接接口接收客戶端發送的鑒權參數并進行鑒權操作，并在鑒權通過后返回所述集群配置信息。

5.根據權利要求2所述的方法，其特征在于，還包括：對于消費客戶端，當從先前集群切換至一個新集群時，若所述新集群為所述先前集群的備份集群，則所述配置服務中心記錄當前消費的位點信息并保存到數據庫中，然后把所述先前集群的集群配置信息更新為所述新集群的集群配置信息；

否則，所述配置服務中心檢查消費任務的消息積壓量，并當消息積壓量為0時，把所述先前集群的集群配置信息更新為所述新集群的集群配置信息。

6.根據權利要求1所述的方法，其特征在于，所述集群配置信息包括：集群消息地址、集群分區標識和zookeeper中該集群的地址。

7.一種kafka集群動態切換的裝置，其特征在于，包括：

信息獲取模塊，用于客戶端將鑒權參數發送給配置服務中心以獲取相應集群的集群配置信息；

信息對比模塊，用于接收所述配置服務中心返回的集群配置信息并與所述客戶端上保存的先前集群配置信息作對比；

信息更新模塊，用于如果接收到的集群配置信息與所述先前集群配置信息不同，則根據接收到的集群配置信息對應的集群與先前集群的關系及所述配置服務中心記錄的先前集群的資源占用情況和運行信息，用接收的集群配置信息更新所述先前集群配置信息并根據更新后的集群配置信息訪問相應的集群。

8.根據權利要求7所述的裝置，其特征在于，所述客戶端包括生產客戶端和消費客戶端，所述生產客戶端生產數據并將所述數據寫入所述集群，所述消費客戶端從所述集群讀取數據并消費所述數據。

9.根據權利要求7所述的裝置，其特征在于，所述客戶端定時向所述配置服務中心發送所述客戶端的心跳信息，所述心跳信息包括：速率信息、數據處理類型和數據條數，所述數據處理類型包括生產和消費。

10.根據權利要求7所述的裝置，其特征在于，所述配置服務中心利用連接接口接收客戶端發送的鑒權參數并進行鑒權操作，并在鑒權通過后返回所述集群配置信息。

11.根據權利要求8所述的裝置，其特征在于，還包括：對于消費客戶端，當從先前集群切換至一個新集群時，

若所述新集群為所述先前集群的備份集群，則所述配置服務中心記錄當前消費的位點信息并保存到數據庫中，然后把所述先前集群的集群配置信息更新為所述新集群的集群配置信息；

否則，所述配置服務中心檢查消費任務的消息積壓量，并當消息積壓量為0時，把所述先前集群的集群配置信息更新為所述新集群的集群配置信息。