[發明專利]基于ELK和Zabbix的日志分析監控系統和方法

在審

• 申請號: 201910605037.X
• 申請日: 2019-07-05
• 公開（公告）號: CN110309030A
• 公開（公告）日: 2019-10-08
• 發明（設計）人: 柯細興;羅洪濱;周健;朱雷;何明;馮玉標
• 申請（專利權）人: 億瑪創新網絡（天津）有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/32;G06F11/34
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭化雨

本申請實施例公開了一種基于ELK和Zabbix的日志分析監控系統，包括ElasticSearch集群模塊、Logstash集群模塊、Kibana模塊、Zabbix監控模塊。Logstash集群模塊獲取散落在不同服務器的日志數據；ElasticSearch集群模塊從Logstash集群模塊收集并存儲目標日志數據，該目標日志數據為滿足待監控業務的日志數據；Kibana模塊對目標日志數據進行分析和可視化展示；Zabbix監控模塊訪問ElasticSearch集群讀取目標日志數據，從而對目標日志數據進行監控，若監控到目標日志數據存在異常，進行告警，并且可以可視化顯示日志數據，使得日志數據直觀顯示。

技術領域

本申請涉及數據處理領域，特別是涉及一種基于ELK和Zabbix的日志分析監控系統和方法。

背景技術

業務系統在提供業務服務時可以生成日志，系統運維和開發人員可以通過日志了解業務系統軟硬件信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日志可以了解業務系統的負荷、性能安全性，從而及時采取措施糾正錯誤。

隨著公司各種業務系統越來越多，不同的服務模塊部署在不同的服務器上，因此，服務產生的日志(應用日志、訪問日志、安全日志等)散落在各服務器上。由于日志比較分散，因而導致有些業務系統出現問題時，不能及時有效的進行統計分析并告警，并且難以直觀的反映業務系統所出現的問題。

因此，如何在業務系統出現問題時能夠及時有效的通過不同服務器上的日志發現問題，成為亟待解決的技術問題。

發明內容

為了解決上述技術問題，本申請提供了一種可以實現不同業務不同類型的日志的收集、歸檔，便于問題查找、分析、性能分析和異常監控。

本申請實施例公開了如下技術方案：

第一方面，本申請實施例提供一種基于ELK和Zabbix的日志分析監控系統，所述系統包括ElasticSearch集群模塊、Logstash集群模塊、Kibana模塊、Zabbix監控模塊：

所述Logstash集群模塊，用于獲取來自不同服務器的日志數據；

所述ElasticSearch集群模塊，用于從所述Logstash集群模塊收集并存儲目標日志數據；所述目標日志數據為滿足待監控業務的日志數據；

所述Kibana模塊，用于對所述目標日志數據進行分析和可視化展示；

所述Zabbix監控模塊，用于訪問所述ElasticSearch集群模塊讀取所述目標日志數據，對所述目標日志數據進行監控，若監控到所述目標日志數據存在異常，進行告警。

可選的，所述系統還包括Filebeat模塊和Kafka集群模塊：

所述Filebeat模塊，用于從不同服務器收集日志數據；

所述Kafka集群模塊，用于接收所述Filebeat模塊所推送的日志數據；

所述Logstash集群模塊，具體用于：

接收所述Kafka集群模塊輸出的日志數據。

可選的，所述系統還包括python腳本模塊：

Zabbix監控模塊通過所述python腳本模塊訪問ElasticSearch集群模塊讀取所述目標日志數據。

可選的，所述Zabbix監控模塊，具體用于：

創建日志監控項，所述日志監控項反映所需監控的日志數據的類型；

通過所述日志監控項獲取目標日志數據；

若目標日志數據滿足預設異常條件，觸發告警。