[發明專利]一種云防護日志系統及其工作方法

有效

• 申請號: 202010055990.4
• 申請日: 2020-01-16
• 公開（公告）號: CN111258979B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 白智全;寇曉輝;楊穎超;龐珂;郭蒙;霍克
• 申請（專利權）人: 山東大學
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/28;G06F16/2455;G06F16/2458;G06F16/248;G06F16/25;H04L9/40;H04L67/06;H04L67/1001;H04L67/1097;H04L67/02;H04L67/1095
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 許德山

1.一種云防護日志系統的工作方法，該系統包括日志收集模塊、日志處理模塊和日志存儲模塊，日志收集模塊負責采集和聚合云防護平臺下殺毒引擎集群產生的日志數據，之后將日志數據發送到日志處理模塊進行實時處理；待實時處理完成后，日志處理模塊將日志數據存儲到日志存儲模塊中；此后日志處理模塊對日志存儲模塊中的日志數據進行離線處理；日志處理模塊中實時處理和離線處理產生的數據報表將存儲到日志存儲模塊中；日志收集模塊包括日志收集系統Flume和消息隊列Kafka，Flume包括負責日志數據采集的Flume Agent和對采集的日志數據進行聚合的Flume Collector，Flume采集和聚合日志數據后，將日志數據發送到Kafka中緩存；日志處理模塊包括分布式實時大數據處理框架Storm和分布式離線大數據處理框架MapReduce，兩者分別負責對日志數據進行實時和離線處理；日志存儲模塊包括負責存儲海量日志數據的Hadoop分布式文件系統HDFS以及負責存儲和緩存數據報表的關系型數據庫MySQL和非關系型數據庫Redis，外部的數據訪問層DAL查詢MySQL中的數據報表時，將優先去Redis中查詢，如緩存未命中，則直接去MySQL中查詢；云防護日志系統通過日志收集模塊中的Flume Agent集成到云防護平臺內部進行日志數據的采集工作；數據報表存儲于MySQL中，外部的DAL可以通過Redis和MySQL直接查詢和展示數據報表，其工作流程為：日志收集系統Flume采集、聚合各區域云防護平臺上殺毒引擎產生的日志數據，之后將日志數據緩存到消息隊列Kafka中；負責執行實時處理任務的Storm會去Kafka中提取和處理日志數據；待日志數據處理完后，將其保存到HDFS中；而負責離線處理任務的MapReduce會在HDFS上運行數據挖掘算法；經過實時處理和離線處理的數據報表將被存儲到MySQL中，該方法的具體步驟如下：

1）云防護平臺部署在各區域的云服務器上，用戶在購買云防護平臺的服務后，用戶內部主機與外部網絡交換數據時，其數據流量將轉發到云防護平臺的殺毒引擎集群進行掃描，殺毒引擎集群通過生成日志數據的形式來記錄當前數據流量的重要信息以及掃描結果，同時日志數據是以流式數據的形式持續地從殺毒引擎集群中產生；日志數據產生后，云防護平臺將日志數據存放到指定文件目錄進行保存；

2）云防護平臺所在區域的云服務器上集成了Flume Agent，Flume Agent不間斷地采集該區域云防護平臺內的日志數據，之后Flume Agent將日志數據發送到Flume Collector進行日志數據的聚合，Flume Collector在接收到多個Flume Agent發送的日志數據后，將聚合的日志數據發往消息隊列Kafka中進行緩存；

3）消息隊列Kafka采用了發布訂閱模式， Kafka對日志數據進行先進先出隊列式緩存，日志處理模塊中的Storm框架通過訂閱Kafka，實現對Kafka中緩存的日志數據進行消費；

4）日志處理模塊中的實時處理模塊Storm框架將日志數據從Kafka中提取并傳輸到本地后，Storm框架將對日志數據進行實時處理，實時處理包括數據預處理和數據統計，數據預處理采用預設格式的方式對日志數據進行清洗和切分，實現去除部分格式錯誤或內容殘缺的日志數據，并通過日志數據中的分隔符，實現日志數據中的數據段的切分和提取；數據的各項統計結果則通過正則表達式對已提取的數據段中的具體數據信息字段進行精確匹配，之后將匹配的數據信息字段進行分組和統計；統計的數據報表將保存到日志數據存儲模塊的關系型數據庫MySQL中；

5）Storm框架實時處理完成后，原始的海量日志數據將被持久化存儲到日志存儲模塊的HDFS中，日志數據在HDFS中存儲多個備份，同時多個備份均勻的分布在多個節點上，通過HDFS的冗余機制保障了海量日志數據的可靠性；

6）日志處理模塊的離線處理模塊MapReduce框架在HDFS內對海量日志數據進行離線處理，離線處理主要對日志數據執行數據挖掘算法，具體的數據挖掘算法的源代碼通過MapReduce框架的客戶端進行提交后，MapReduce框架內的Map任務對日志數據進行分割和映射，Reduce任務會對Map任務映射后的數據進行合并和統計；離線處理后的數據報表也將保存到日志數據存儲模塊的MySQL中；

7）MySQL中的數據報表需要通過前端網頁進行展示，前端網頁首先向后端DAL發送超文本傳輸協議HTTP請求數據包，DAL通過解析HTTP請求數據包獲取需要查詢的數據報表；此后，DAL將優先去緩存數據庫Redis中查找是否存在該數據報表，若存在則直接將該數據報表返回；若不存在，則轉向MySQL中進行查詢，待查詢的數據報表返回后，再將該數據報表添加到Redis中，下次訪問該數據報表時，DAL將直接從Redis中讀取并返回；DAL在獲取前端網站查詢的數據報表后，通過發送HTTP響應數據包將該數據報表發送到前端網頁；最后，前端網頁對數據報表進行數據展示，用戶即可通過前端網頁展示的信息來獲取云防護日志系統對日志數據實時處理或離線處理的結果。