[發明專利]基于Kafka的服務進程可視化監控與管理的方法及裝置

在審

• 申請號: 202011125256.7
• 申請日: 2020-10-20
• 公開（公告）號: CN112269767A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 和思揚;陶鈺昕
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/18;G06F16/22;G06F9/451
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 梁凱

本發明提供一種基于Kafka的服務進程可視化監控與管理的方法及裝置，其中，方法包括：接收用戶提供的端口信息，并將端口信息存入mysql數據庫；根據端口信息，基于預設的刷新時間間隔，向業務平臺的各個節點進行查詢掃描，獲取端口信息對應的端口的狀態信息；將狀態信息寫入Kafka主題進行存儲；基于端口狀態信息和秒級的時間信息對服務進程進行監控及管理；基于端口狀態信息和秒級的時間信息，制成可視化圖像并顯示。本發明的基于Kafka的服務進程可視化監控與管理的方法，基于Kafka進行設計，具有高實時性與容錯性。可自動化恢復進程，減少維護人員的操作成本，提供進程級別的監控告警，為用戶對龐大而復雜的業務平臺進行異常定位提供了極大的便利。

技術領域

本發明涉及監控與管理技術領域，特別涉及一種基于Kafka的服務進程可視化監控與管理的方法、裝置、計算機設備及存儲介質。

背景技術

目前，任何IT處理業務往往需要龐大且復雜的服務平臺來支持。以大數據處理為例，數據在抽取、計算、傳輸、存儲與加載等過程中會依賴多個大數據組件，例如Hadoop、Spark、HBase、Flume和Zookeeper等,每個組件都具有至少一種服務端口。只有這些端口所在的服務進程全部正常，才能保證整個處理流程執行完整。而目前，大部分服務組件不具備進程的監控界面，因此服務的異常終止往往不能被維護人員第一時間感知，需要一系列排查才能找到死亡的服務進程，增大了問題定位的成本。因此，實現一種高實時性、可視化的進程監控管理，可以使問題定位與處理更加便捷，減少運維成本。

發明內容

本發明目的之一在于提供了一種基于Kafka的服務進程可視化監控與管理的方法，基于Kafka進行設計，具有高實時性與容錯性。同時提供前端模塊，用戶可進行可視化監控與便捷的操作。可自動化恢復進程，減少維護人員的操作成本，提供進程級別的監控告警，為用戶對龐大而復雜的業務平臺進行異常定位提供了極大的便利。

本發明實施例提供的一種基于Kafka的服務進程可視化監控與管理的方法，包括：

接收用戶提供的端口信息，并將所述端口信息存入mysql數據庫；

根據所述端口信息，基于預設的刷新時間間隔，向業務平臺的各個節點進行查詢掃描，獲取所述端口信息對應的端口的狀態信息；

將所述狀態信息寫入Kafka主題進行存儲；

在每次查詢掃描時，都會產生一個秒級的時間信息，將所述秒級的時間信息與所述狀態信息對應存儲；

從所述Kafka主題中獲取存儲的所述狀態信息和所述秒級的時間信息；

基于所述端口狀態信息和所述秒級的時間信息對服務進程進行監控及管理；

基于所述端口狀態信息和所述秒級的時間信息，制成可視化圖像并顯示。

優選的，所述端口信息包括：監控的目標服務端口、端口所在的主機節點、服務的啟動命令以及信息刷新的時間間隔其中一種或多種結合。

優選的，狀態信息包括：端口的對應進程號、進程狀態與父進程的信息列表。

優選的，所述基于所述端口狀態信息和所述秒級的時間信息對服務進程進行監控及管理；包括：

當端口的進程信息為空時，發出監控告警，同時嘗試執行所述端口的啟動命令；

當所述進程狀態為空時，則殺死所述進程及對應的父進程，執行端口的啟動命令。

優選的，基于Kafka的服務進程可視化監控與管理的方法，還包括：

在顯示端口的進程信息時，還接收用戶對于所述進程的操作指令；

執行所述操作指令；

其中，所述操作指令包括：重啟或殺死。