[發明專利]一種基于大數據的可視化網絡安全監控方法

在審

• 申請號: 201710318932.4
• 申請日: 2017-05-08
• 公開（公告）號: CN107181612A
• 公開（公告）日: 2017-09-19
• 發明（設計）人: 賈耘;王詩勇
• 申請（專利權）人: 深圳市眾泰兄弟科技發展有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/06
• 代理公司: 深圳市漢唐知識產權代理有限公司44399
• 代理人: 周丹

技術領域

本發明涉及網絡安全監控技術領域，尤其是涉及一種基于大數據的可視化網絡安全監控方法。

背景技術

在網絡安全事件中，網絡安全的檢測和監控僅能及時檢測出系統中發生的攻擊威脅，從而縮短攻擊發生的應急響應的時間差，但是即便是最理想的威脅檢測系統，當發生威脅警報時，威脅大多已經發生，對系統的危害已經造成，因此檢測永遠只能作為一種相對被動的安全機制，而無法對網絡安全事件及時作出預警；并且隨著網絡環境的日趨復雜，網絡數據也在逐漸的增大，傳統的SIEM很難處理多樣化的非結構數據，影響對網絡安全的及時檢測，信息安全面臨大數據帶來的挑戰；

因此，有必要提供一種新的技術方案以克服上述缺陷。

發明內容

本發明的目的在于提供一種可有效解決上述技術問題的基于大數據的可視化網絡安全監控方法。

為達到本發明之目的，采用如下技術方案：

一種基于大數據的可視化網絡安全監控方法，該方法包括如下步驟：

步驟101：首先通過信息采集模塊收集網絡數據，該部分網絡數據包括全包捕獲數據、會話數據、統計數據、包字符串數據、日志數據和告警數據，其中，日志數據指的是由設備、系統或應用程序生成的原始日志文件，可以包括：Web代理日志、路由器的防火墻日志、VPN身份證驗證日志、Windows安全日志以及SYSLOG數據等，然后通過Flume把經過信息采集模塊初步處理的網絡數據發送到Kafka數據分發集群；

步驟102：Kafka數據分發集群接收到網絡數據后，根據不同的信息采集模塊分發不同類型的網絡數據至Storm數據分析集群，并匹配Flume與Strom數據分析集群之間的數據處理速度；

步驟103：Storm數據分析集群接收到Kafka數據分發集群分發的網絡數據后，對所有的網絡數據進行安全分析處理，然后通過 Topologies(互聯網絡拓撲結構)將處理后的數據發送到Kafka數據分析集群；

步驟104：Kafka數據分析集群接收到Storm分析處理后的數據后，根據Enrichment Topic模塊分發至Storm數據分析集群；

步驟105：Storm集群接收到Kafka數據分析集群分發的處理后的數據后，根據現有的機器學習及深度神經網絡技術，進行網絡安全數據的實時分析，最后將最終的分析數據分別存儲到HDFS(分布式文件系統)和Elasticsearch中供前端應用進行分析和展示。

與現有技術相比，本發明具有如下有益效果：本發明基于大數據的可視化網絡安全監控方法通過大數據分析算法和可視化界面，以便用戶能夠直觀的觀察出來，并且實現對不同安全設備、IT系統的信息進行分析，以及對內部用戶行為的監測，從而可以全面、快速、準確的感知過去、現在、未來的安全威脅，實時了解網絡的安全態勢；同時能夠將網絡安全態勢進行可視化呈現，幫助用戶快速掌握網絡狀況，識別網絡異常、入侵，把握網絡安全事件發展趨勢，全方位感知網絡安全態勢，支撐邏輯拓撲層級結構，從全網的整體安全態勢，到信息資產以及安全數據的監測，進行全方位態勢監控；并且可以對所有的網絡數據進行全量采集，這些數據分別通過Snort IDS、Bro IDS和Yaf IDS進行檢測分析并通過項目中的數據收集模塊分發到大數據技術分發集群上，經過處理后存儲到HDFS 文件系統中，這些HDFS分布式文件系統可以根據客戶的需求通過水平擴展存儲器的方式進行數據文件的長期存儲；本發明能滿足實時大數據實時分析系統關鍵特性的架構，包括有：高容錯、低延時和可擴展等，整合離線計算和實時計算，融合不可變性，讀寫分離和復雜性隔離等一系列原則，可集成Hadoop，Kafka，Storm， Spark，Hbase等各類大數據組件，將大數據實時分析系統劃分為 Batch Layer,Speed Layer和Serving Layer三層，從而設計出一個能滿足實時大數據分析系統的架構。

具體實施方式

本發明基于大數據的可視化網絡安全監控方法包括如下步驟：

步驟101：首先通過信息采集模塊收集網絡數據，該部分網絡數據包括全包捕獲數據、會話數據、統計數據、包字符串數據、日志數據和告警數據，其中，日志數據指的是由設備、系統或應用程序生成的原始日志文件，可以包括：Web代理日志、路由器的防火墻日志、VPN身份證驗證日志、Windows安全日志以及SYSLOG數據等，然后通過Flume把經過信息采集模塊初步處理的網絡數據發送到Kafka數據分發集群；