[發明專利]一種基于大數據的實時網絡異常行為檢測系統及方法

有效

• 申請號: 201810079555.8
• 申請日: 2018-01-26
• 公開（公告）號: CN108040074B
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 高英;靳亞洽;劉煜;李若鵬
• 申請（專利權）人: 華南理工大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06K9/62;G06N20/00
• 代理公司: 重慶中之信知識產權代理事務所(普通合伙) 50213
• 代理人: 涂強

本發明公開了一種基于大數據的實時網絡異常行為檢測系統，包括流量采集層、數據管道層、實時計算層、數據存儲層、數據分析層以及應用層；所述流量采集層，包括采集裝置；所述數據管道層，包括采用分布式消息系統的數據管道服務模塊；所述實時計算層，包括流式計算模塊；所述數據存儲層，包括分布式文件服務模塊、分布式數據庫模塊以及檢索服務模塊；所述數據分析層，包括模型訓練模塊、實時檢測模塊；所述應用層，包括可視化告警模塊。還公開了一種一種基于大數據的實時網絡異常行為檢測方法。本發明數據采集效率高，數據傳輸穩定可靠，能夠對高級持續性威脅進行高效檢測和分析，可溯源取證，方便分析人員檢索，模型訓練效率高，誤報率低。

技術領域

本發明屬于網絡安全管理技術領域，具體涉及一種基于大數據的實時網絡異常行為檢測系統及方法。

背景技術

隨著網絡應用的不斷發展，如何從網絡數據報文中發現異常行為，并給出預警，已經成為當前網絡安全管理的一個重要研究領域。現有的網絡流量異常檢測平臺大多數依賴SNMP或者Netflow之類的采集方式，SNMP比較依賴路由器的性能，采集效率比較低下，而Netflow只提供的流的統計信息，對于數據包本身的信息并沒有采集下來，不能為后續全流量的分析提供數據。其次，在流式計算過程中，現有的基于大數據的網絡流量異常檢測平臺采用的是像spark streaming之類的流式計算引擎，Spark Streaming是基于數據片集合(RDD)進行小批量處理的，在流式處理方面的性能不夠理想。另外，現有基于大數據的網絡流量異常檢測平臺多是基于netflow或者ipfix技術，對網絡流量進行特征匹配或者基于簡單的統計，對于像高級持續性威脅(APT)這類的攻擊很難進行檢測。

發明內容

針對現有技術中所存在的不足，本發明提供了一種數據采集效率高、數據傳輸穩定可靠、能夠對高級持續性威脅(APT)進行高效檢測和分析、可溯源取證、方便分析人員檢索、模型訓練效率高、誤報率低的基于大數據的實時網絡異常行為檢測系統。

一種基于大數據的實時網絡異常行為檢測系統，包括流量采集層、數據管道層、實時計算層、數據存儲層、數據分析層以及應用層；

所述流量采集層，包括對數據源進行流量采集的采集裝置，所述采集裝置提供流量采集服務，包括數據包捕獲服務、數據包解析服務、本地落盤服務、數據特征提取服務、數據流序列化服務以及數據發送服務；所述采集裝置通過數據包捕獲服務捕獲數據包，之后將采集的數據進行預處理，之后通過數據發送服務將經過預處理的數據傳送到數據管道層，還通過本地落盤服務將原始數據包保存到數據存儲層的分布式文件服務模塊中；所述預處理中通過數據包解析服務給每個數據包打上唯一標簽，通過數據特征提取服務對數據進行特征提取，通過數據流序列化服務處理成統一的二進制格式；

所述數據管道層，包括數據管道服務模塊，所述數據管道服務模塊采用分布式消息系統；所述數據管道服務模塊將經過預處理的數據放入分布式消息系統中以供實時計算層獲取；

所述實時計算層，包括流式計算模塊，所述流式計算模塊提供流式計算服務，所述流式計算服務包括特征反序列化與切割服務、特征統計分析服務以及特征入庫服務；所述流式計算模塊從數據管道層獲取經過預處理的數據，通過特征反序列化與切割服務得到基礎特征，通過特征統計分析服務得到統計特征，再將所述統計特征和協議特征追加到所述基礎特征中形成總的特征，并通過特征入庫服務將所述總的特征保存到所述數據存儲層的分布式數據庫模塊中；所述實時計算層還將所述數據包的唯一標簽與原始數據包存儲路徑的映射關系保存到數據存儲層的分布式數據庫模塊中；

所述數據存儲層，包括分布式文件服務模塊、分布式數據庫模塊以及檢索服務模塊；所述分布式文件服務模塊，用于保存原始數據包；所述分布式數據庫模塊，用于保存實時計算層計算出來的總的特征，以及經過預處理后的數據包的唯一標簽與原始數據包存儲路徑的映射關系；所述檢索服務模塊，用于存儲計算結果數據，以及快速檢索所述計算結果數據供應用層進行展示；