[發(fā)明專利]一種基于Kafka和Zabbix的日志分析監(jiān)控系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710175307.9
• 申請(qǐng)日: 2017-03-22
• 公開(kāi)（公告）號(hào): CN106936640A
• 公開(kāi)（公告）日: 2017-07-07
• 發(fā)明（設(shè)計(jì)）人: 馮方方
• 申請(qǐng)（專利權(quán)）人: 環(huán)球智達(dá)科技（北京）有限公司
• 主分類號(hào): H04L12/24
• 分類號(hào): H04L12/24;H04L12/26
• 代理公司: 北京華仲龍騰專利代理事務(wù)所(普通合伙)11548
• 代理人: 李靜

技術(shù)領(lǐng)域

本發(fā)明涉及一種網(wǎng)站監(jiān)控系統(tǒng)，具體是一種基于Kafka和Zabbix的日志分析監(jiān)控系統(tǒng)。

背景技術(shù)

對(duì)網(wǎng)站流量的監(jiān)控，目前主要有如下幾種方式：一是采用嵌入云平臺(tái)的統(tǒng)計(jì)JS腳本的方式，采用這類方法的如百度、谷歌等，二是通過(guò)一些日志分析工具進(jìn)行流量監(jiān)控，采用這類的方法主要有GoAccess、LogStat等，三是自主開(kāi)發(fā)的訪問(wèn)統(tǒng)計(jì)監(jiān)控系統(tǒng)。上述幾種方案都有自己明顯的不足。嵌入云平臺(tái)的統(tǒng)計(jì)JS方式，不僅需要對(duì)網(wǎng)站前端代碼進(jìn)行修改，增加前端的處理邏輯；而且有些接口類的訪問(wèn)無(wú)法直接嵌入JS，使得此方案在使用范圍上具有一定的局限性。第二種采用日志分析工具進(jìn)行流量監(jiān)控，無(wú)法進(jìn)行實(shí)時(shí)地?cái)?shù)據(jù)統(tǒng)計(jì)和監(jiān)控，也不便于對(duì)多臺(tái)服務(wù)器訪問(wèn)日志進(jìn)行監(jiān)控與統(tǒng)計(jì)。而自主開(kāi)發(fā)的訪問(wèn)統(tǒng)計(jì)監(jiān)控系統(tǒng)，開(kāi)發(fā)工作量比較大，實(shí)施成本比較高，時(shí)間進(jìn)度上也有一定的限制。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于Kafka和Zabbix的日志分析監(jiān)控系統(tǒng)，以解決上述背景技術(shù)中提出的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于Kafka和Zabbix的日志分析監(jiān)控系統(tǒng)，包括Kafka模塊、Shell腳本模塊和Zabbix模塊，所述Kafka模塊一端連接至WEB服務(wù)器，Kafka模塊用于采集WEB服務(wù)器的訪問(wèn)日志；所述Kafka模塊另一端連接至Shell腳本模塊，Shell腳本模塊連接至Zabbix模塊，Shell腳本模塊用于對(duì)網(wǎng)站訪問(wèn)流量進(jìn)行分析與計(jì)算，將Shell腳本模塊進(jìn)行網(wǎng)站訪問(wèn)流量的分析與計(jì)算的結(jié)果匯總到Zabbix模塊中；Zabbix模塊包括圖形展現(xiàn)界面模塊，所述Zabbix模塊用于對(duì)網(wǎng)站進(jìn)行實(shí)時(shí)的PV和UV的監(jiān)控和告警。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

本發(fā)明通過(guò)Kafka進(jìn)行WEB訪問(wèn)日志的采集，通過(guò)Shell腳本進(jìn)行網(wǎng)站訪問(wèn)流量的分析與計(jì)算，并將結(jié)果匯總到Zabbix中；利用Zabbix的圖形展現(xiàn)界面進(jìn)行監(jiān)控可視化展示，實(shí)現(xiàn)了對(duì)網(wǎng)站實(shí)時(shí)PV和UV的監(jiān)控和告警，降低了網(wǎng)站訪問(wèn)統(tǒng)計(jì)和監(jiān)控的成本。

附圖說(shuō)明

圖1為基于Kafka和Zabbix的日志分析監(jiān)控系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合具體實(shí)施方式對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步詳細(xì)地說(shuō)明。

請(qǐng)參閱圖1，一種基于Kafka和Zabbix的日志分析監(jiān)控系統(tǒng)，包括Kafka模塊、Shell腳本模塊和Zabbix模塊，所述Kafka模塊一端連接至WEB服務(wù)器，Kafka模塊用于采集WEB服務(wù)器的訪問(wèn)日志；所述Kafka模塊另一端連接至Shell腳本模塊，Shell腳本模塊連接至Zabbix模塊，Shell腳本模塊用于對(duì)網(wǎng)站訪問(wèn)流量進(jìn)行分析與計(jì)算，將Shell腳本模塊進(jìn)行網(wǎng)站訪問(wèn)流量的分析與計(jì)算的結(jié)果匯總到Zabbix模塊中；Zabbix模塊包括圖形展現(xiàn)界面模塊，所述Zabbix模塊用于對(duì)網(wǎng)站進(jìn)行實(shí)時(shí)的PV和UV的監(jiān)控和告警。

本發(fā)明的工作原理是：

本系統(tǒng)通過(guò)Kafka模塊進(jìn)行WEB訪問(wèn)日志的采集，通過(guò)Shell腳本模塊進(jìn)行網(wǎng)站訪問(wèn)流量的分析與計(jì)算，并將結(jié)果匯總到Zabbix模塊中；利用Zabbix模塊中的圖形展現(xiàn)界面模塊進(jìn)行監(jiān)控可視化展示，并實(shí)現(xiàn)對(duì)網(wǎng)站實(shí)時(shí)PV和UV的監(jiān)控和告警。

上面對(duì)本發(fā)明的較佳實(shí)施方式作了詳細(xì)說(shuō)明，但是本發(fā)明并不限于上述實(shí)施方式，在本領(lǐng)域的普通技術(shù)人員所具備的知識(shí)范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前提下作出各種變化。