[發明專利]基于Storm的日志處理方法及裝置

在審

• 申請號: 201710527471.1
• 申請日: 2017-06-30
• 公開（公告）號: CN107391606A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 王曉峰;張偉;牛軍;楊大龍;丁厚東
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/30
• 代理公司: 北京同立鈞成知識產權代理有限公司11205
• 代理人: 宋揚,劉芳

技術領域

本發明實施例涉及通信技術領域，尤其涉及一種基于Storm的日志處理方法及裝置。

背景技術

在目前的“云計算”、“分布式”架構下，隨著互聯網用戶數增多，業務系統產生的數據也隨之增加，且已達到大數據量級，因此可以利用大數據和數據挖掘相關技術實現海量日志數據的分析處理。

目前，海量的日志分析處理方案可以包括如下兩類，基于腳本的日志分析解決方案和基于Hadoop的日志分析解決方案。

基于腳本(Shell或者Python)的日志分析解決方案，用腳本來實現處理和分析各個主機或者容器日志的業務邏輯。腳本直接處理日志文件，執行日志分析和處理任務時需要手動執行腳本，不能支持不斷增加的需求，維護難度大。

基于Hadoop的日志分析解決方案中，Hadoop的MapReduce框架更適合于大數據的離線批量處理，數據處理完任務便也退出了。Hadoop處理數據首先需要將數據存入到HDFS中，使用磁盤作為中間交換的介質，時效性不夠好，對于實時性要求較高的業務需求，Hadoop的批處理無法符合要求。

因此，現有技術中缺乏一種既能保證時效性，又能滿足不同需求的日志分析處理方案。

發明內容

本發明實施例提供一種基于Storm的日志處理方法及裝置，以實現一種既能保證時效性，又能滿足不同需求的日志分析處理方案。

本發明實施例的一個方面是提供一種基于Storm的日志處理方法，包括：

接收rsyslog客戶端采集到的日志數據；

將所述日志數據存儲到kafka集群中；

基于Storm對所述日志數據進行處理，得到處理后的日志數據；

將處理后的日志數據存儲到Mysql中，將源日志數據存儲到HBase中。

本發明實施例的另一個方面是提供一種基于Storm的日志處理裝置，包括：

接收模塊，用于接收rsyslog客戶端采集到的日志數據；

存儲模塊，用于將所述日志數據存儲到kafka集群中；

處理模塊，用于基于Storm對所述日志數據進行處理，得到處理后的日志數據；

所述存儲模塊還用于將處理后的日志數據存儲到Mysql中，將源日志數據存儲到HBase中。

本發明實施例提供的基于Storm的日志處理方法及裝置，通過接收rsyslog客戶端采集到的日志數據，將日志數據存儲到kafka集群中，基于Storm對日志數據進行處理，得到處理后的日志數據，將處理后的日志數據存儲到Mysql中，將源日志數據存儲到HBase中，實現了一種既能保證時效性，又能滿足不同需求的日志分析處理方案。

附圖說明

圖1為本發明實施例提供的基于Storm的日志處理方法流程圖；

圖2為本發明另一實施例提供的基于Storm的日志處理方法流程圖；

圖3為本發明另一實施例提供的基于Storm的日志處理方法流程圖；

圖4為本發明實施例提供的基于Storm的日志處理裝置的結構圖；

圖5為本發明另一實施例提供的基于Storm的日志處理裝置的結構圖。

具體實施方式

圖1為本發明實施例提供的基于Storm的日志處理方法流程圖。本發明實施例針對現有技術中缺乏一種既能保證時效性，又能滿足不同需求的日志分析處理方案，提供了基于Storm的日志處理方法，該方法具體步驟如下：

步驟S101、接收rsyslog客戶端采集到的日志數據。

如圖2所示，rsyslog客戶端采集日志數據，所述日志數據包括如下至少一種：業務日志、用戶行為日志、資源運行日志。rsyslog客戶端21將其采集到的日志數據發送給rsyslog服務器22，由rsyslog服務器22實現日志數據采集，具體的，rsyslog服務器22中的日志集中rsyslog用于接收rsyslog客戶端21發送的日志數據，并實現對日志數據的集中。

步驟S102、將所述日志數據存儲到kafka集群中。

如圖2所示，日志集中rsyslog將日志數據存儲到kafka集群中，kafka集群可以作為Rsyslog服務器采集數據的速度和Storm處理數據的速度不同步的緩沖區。

步驟S103、基于Storm對所述日志數據進行處理，得到處理后的日志數據。

如圖2所示，Storm集群接收來自kafka集群的日志數據，并基于Storm對所述日志數據進行處理，得到處理后的日志數據。