[發明專利]一種可視化的Kafka集群監控方法

有效

• 申請號: 201910249837.2
• 申請日: 2019-03-29
• 公開（公告）號: CN110134564B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 趙冬陽;趙明超
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;H04L67/025
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

本發明特別涉及一種可視化的Kafka集群監控方法。該可視化的Kafka集群監控方法，采用spring boot和Angular的前后端分離的模式，前端使用Angular框架構建一個可視化集群監控系統，后端調用API接口獲取Kafka集群數據信息，通過前端可視化界面的表格和曲線圖展示出來；通過修改Ambari源碼，將構建的可視化集群監控系統作為一個組件集成部署到Ambari大數據平臺中，使用戶更方便高效可視化的對Kafka集群進行監控。該可視化的Kafka集群監控方法，在前端構建的可視化集群監控系統，并將其集成部署到Ambari大數據平臺中，用戶可以方便的在大數據平臺中打開該可視化的監控系統對Kafka集群進行監控，不需要單獨啟動監控工具，增強了Kafka集群的功能性和對Kafka集群的監控能力。

技術領域

本發明涉及大數據開發技術領域，特別涉及一種可視化的Kafka集群監控方法。

背景技術

大數據時代，各行各業時時刻刻都在產生海量多樣的數據，大數據已經成為行業發展新的推動力。

Kafka集群是一個分布式的、可分區的、可復制的消息系統，能夠提供普通消息系統的功能。通俗地講，Kafka是一個日志集群，各種各樣的服務器將自身的日志發送到集群中進行統一匯總和存儲，然后其它機器從集群中拉取消息進行分析處理，如ELT、數據挖掘等。

Kafka以集群的方式運行，可以由一個或多個服務組成，每個服務叫做一個broker。同時，Kafka集群將消息以topic(主題)為單位進行歸納。在大數據的處理過程中，消費 Kafka集群中的消息時，數據的變動是用戶所關心的。當業務環境不復雜的前提下，用戶可以使用Kafka集群提供的命令工具，配合Zookeeper客戶端工具，很方便的完成工作。但是隨著業務場景的復雜化，Group(類)和Topic(主題)的數量的增加，此時用戶使用Kafka提供的命令工具，已預感到力不從心。這時候用戶需要觀察Kafka集群中消息的消費應用的詳情，因而對Kafka集群的監控就變得尤為重要。

KafkaMonitor是一種Kafka的可視化管理與監控工具，為Kafka的穩定運維提供高效、可靠、穩定的保障。

KafkaManager是為了讓開發者和服務工程師能夠更加簡單地維護Kafka集群，Yahoo 基于Web構建的一個開源管理工具。通過KafkaManager，用戶能夠更容易地發現集群中哪些主題或者分區分布不均勻，同時能夠管理多個集群，能夠更容易地檢查集群的狀態，能夠創建主題，執行首選的副本選擇，能夠基于集群當前的狀態生成分區分配，并基于生成的分配執行分區的重分配，此外，KafkaManager還是一個非常好的可以快速查看集群狀態的工具。

Kerberos是一種網絡認證協議，其設計目標是通過密鑰系統為客戶機/服務器應用程序提供強大的認證服務。該認證過程的實現不依賴于主機操作系統的認證，無需基于主機地址的信任，不要求網絡上所有主機的物理安全，并假定網絡上傳送的數據包可以被任意地讀取、修改和插入數據。

在早期，使用Kafka Monitor和Kafka Manager等監控組件監控Kafka集群。但是隨著業務的快速發展，在大數據平臺開啟Kerberos(網絡認證協議)組件后，以及互聯網公司特有的一些需求，現有的開源的監控系統在功能、性能、擴展性和DEVS的使用效率方面，已經無法滿足了。