[發明專利]一種基于Hadoop的網絡安全事件分析方法

在審

• 申請號: 201410630224.0
• 申請日: 2014-11-11
• 公開（公告）號: CN104363222A
• 公開（公告）日: 2015-02-18
• 發明（設計）人: 黃敏
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 張靖

技術領域

本發明涉及網絡安全領域，具體涉及一種基于Hadoop的網絡安全事件分析方法。

背景技術

網絡安全管理平臺的應用，能夠實現整體網絡安全狀態的可視化監測和配置，簡化人工分析和管理的復雜度，節省網絡安全人力資源，并為快速的應急響應處置提供技術依據。但隨著信息化規模日漸增長，網絡安全防護的范圍越來越廣，安全管理的復雜性也越來越高。應用系統使用越多，安全的數據量越大，對網絡安全管理平臺數據處理的要求越來越高，處理的海量數據有可能達到TB、甚至PB級。如果數據處理效率無法應對日益增長的數據規模要求，將對網絡安全管理平臺的適用性、可用性、可靠性等產生影響，人工維護的成本也可能大大增加。可以說，大數據時代的到來，海量事件的分析處理將是網絡安全管理平臺面臨的最嚴峻的挑戰之一。

Hadoop是Apache的一個開源分布式計算平臺。由于Hadoop在海量數據處理上具有的高效、高容錯、高擴展和高可靠性以及開源的特點，使得它在眾多行業和科研領域中被廣泛采用：雅虎通過Hadoop支持廣告系統和Web搜索的研究，Facebook用其支持數據分析和機器學習，百度使用Hadoop進行搜索日志的分析和網頁數據的挖掘工作，淘寶的Hadoop系統用于存儲并處理電子商務交易的相關數據等。

HDFS，Hadoop?Distributed?File?System，簡稱HDFS，是一個分布式文件系統。HDFS有著高容錯性（fault-tolerant）的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high?throughput）來訪問應用程序的數據，適合那些有著超大數據集（large?data?set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以實現流的形式訪問（streaming?access）文件系統中的數據。HDFS開始是為開源的apache項目nutch的基礎結構而創建，HDFS是hadoop項目的一部分，而hadoop又是lucene的一部分。

MapReduce是Google提出的一個軟件架構，用于大規模數據集（大于1TB）的并行運算。概念“Map（映射）”和“Reduce（化簡）”，及他們的主要思想，都是從函數式編程語言借來的，還有從矢量編程語言借來的特性。[1]當前的軟件實現是指定一個Map（映射）函數，用來把一組鍵值對映射成一組新的鍵值對，指定并發的Reduce（化簡）函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。

發明內容

本發明要解決的技術問題是：本發明應用Hadoop處理海量事件的技術，提出了一種基于Hadoop的網絡安全事件分析方法，旨在為將來提升網絡安全管理平臺大數據量的處理效率提供解決思路。

本發明所采用的技術方案為：

一種基于Hadoop的網絡安全事件分析方法，利用hadoop在海量數據處理上具有的高效、高容錯、高擴展和高可靠性以及開源的特點，采用HDFS的高容錯性、高伸縮性等優點，允許用戶將Hadoop部署在普通低廉的硬件上，形成分布式系統；MapReduce提供開發并行應用程序，在集群上實現分布式計算和并行任務處理；HDFS在MapReduce任務處理過程中提供了文件操作和存儲等支持，數據采集系統從各個網絡安全設備采集網絡安全事件信息并生成數據文件，使用API或命令將它們存入HDFS，數據由HDFS在多個普通硬件資源的節點上分布式存儲，然后使用MapReduce對事件信息進行分析并輸出分析結果進行展示MapReduce在HDFS的基礎上實現了任務的分發、跟蹤、執行等工作，并收集結果，二者相互作用，完成Hadoop分布式集群的主要任務。

所述方法采用分布式存儲HDFS集群，由一個NameNode和若干個DataNode組成，如附圖1所示。其中NameNode作為主服務器，管理文件系統的命名空間和客戶端對文件的訪問操作；集群中的DataNode管理存儲的數據；HDFS允許用戶以文件的形式存儲數據；從內部來看，文件被分成若干個數據塊（Block）并存放在一組DataNode上；NameNode執行文件系統的命名空間操作，如打開、關閉、重命名文件或目錄等，它也負責數據塊到具體DataNode的映射；DataNode負責處理文件系統客戶端的文件讀寫請求，并在NameNode的統一調度下進行數據塊的創建、刪除和復制.