[發明專利]基于Spark的大數據網絡日志采集分析和預警的方法、系統

在審

• 申請號: 201810732720.5
• 申請日: 2018-07-05
• 公開（公告）號: CN110690984A
• 公開（公告）日: 2020-01-14
• 發明（設計）人: 易可可;汪潮;王威
• 申請（專利權）人: 上海寶信軟件股份有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08
• 代理公司: 31236 上海漢聲知識產權代理有限公司
• 代理人: 莊文莉

1.一種基于Spark的大數據網絡日志采集分析和預警系統，其特征在于，包括：

日志原始文件獲取模塊(101)：采集日志原始文件；

日志采集模塊(102)：根據所述日志原始文件獲得日志數據；

日志存儲模塊(103)：存儲日志數據；

數據邏輯處理模塊(104)：進行日志數據分析，得到日志分析結果；

分析結果存儲模塊(105)：存儲日志分析結果；

可視化展示和預警模塊(106)：讀取所述日志分析結果，展示所述日志分析結果或/和發出運維預警提示。

2.根據權利要求1所述的基于Spark的大數據網絡日志采集分析和預警系統，其特征在于，日志原始文件包括Tomcat應用日志、系統日志、外部接口日志，所述日志原始文件記錄了原始信息；

原始信息包括網站原始的訪問信息，還包括操作系統信息、CPU信息、內存信息、硬盤信息，以及外部接口調用時間響應信息。

3.根據權利要求2所述的基于Spark的大數據網絡日志采集分析和預警系統，其特征在于，日志采集模塊(102)采用Apache Flume技術采集日志數據，在Flume集群中，以代理Agent作為一個獨立運行的最小單位，所述代理Agent包括：傳輸數據源Source、傳輸通道Channel、數據匯聚點Sink，所述數據匯聚點Sink包括Kafka消息集群數據匯聚點KafkaSink和HDFS分布式文件系統數據匯聚點HDFS Sink；

將實時數據通過第一傳輸通道Channel A傳輸給Kafka Sink，將離線數據通過第二傳輸通道Channel B傳輸給HDFS Sink；

在日志存儲模塊(103)將Kafka Sink的實時數據發送到Kafka消息集群；將HDFS Sink的離線數據發送到HDFS分布式文件系統。

4.根據權利要求3所述的基于Spark的大數據網絡日志采集分析和預警系統，其特征在于，數據邏輯處理模塊(104)采用實時流式計算框架Spark Streaming接收Kafka消息集群中的實時數據，將實時數據劃分成批次后轉給Spark計算引擎處理，按批次生成結果流，判斷所述實時分析數據是否達到第一預設閾值或/和第二預設閾值：

--若達到第一預設閾值且未達到第二預設閾值，則判定記為一般預警數據；

--若達到第二預設閾值，則判斷記為重大預警數據；

--否則，則判斷記為正常數據；

輸出實時分析數據；

采用Spark進行離線數據分析處理，讀取HDFS分布式文件系統中存儲的離線數據，在Spark計算引擎中進行SQL統計分析，判斷所述離線分析數據是否達到第一預設閾值或/和第二預設閾值：

--若達到第一預設閾值且未達到第二預設閾值，則判定記為一般預警數據；

--若達到第二預設閾值，則判斷記為重大預警數據；

--否則，則判斷記為正常數據；

輸出離線分析數據；

分析結果存儲模塊(105)將所述實時分析數據和離線分析數據存儲到Redis緩存和MySQL關系數據庫中。

5.根據權利要求4所述的基于Spark的大數據網絡日志采集分析和預警系統，其特征在于，可視化展示和預警模塊(106)讀取Redis緩存和MySQL關系數據庫中的實時分析數據和離線分析數據；

對于實時分析數據、離線分析數據：

--若為一般預警數據，調用web顯示一般預警信息；所述運維預警提示包括一般預警信息；

--若為重大預警數據，調用web發送重大預警信息；所述運維預警提示包括重大預警信息；

--否則，則不進行預警。