[發明專利]一種基于Hadoop的網絡安全事件分析方法

在審

• 申請號: 201410630224.0
• 申請日: 2014-11-11
• 公開（公告）號: CN104363222A
• 公開（公告）日: 2015-02-18
• 發明（設計）人: 黃敏
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 張靖

1.一種基于Hadoop的網絡安全事件分析方法，其特征在于：利用hadoop在海量數據處理上具有的高效、高容錯、高擴展和高可靠性以及開源的特點，采用HDFS的高容錯性、高伸縮性優點，允許用戶將Hadoop部署在普通低廉的硬件上，形成分布式系統；MapReduce提供開發并行應用程序，在集群上實現分布式計算和并行任務處理；HDFS在MapReduce任務處理過程中提供了文件操作和存儲等支持，數據采集系統從各個網絡安全設備采集網絡安全事件信息并生成數據文件，使用API或命令將它們存入HDFS，數據由HDFS在多個普通硬件資源的節點上分布式存儲，然后使用MapReduce對事件信息進行分析并輸出分析結果進行展示MapReduce在HDFS的基礎上實現了任務的分發、跟蹤、執行等工作，并收集結果，二者相互作用，完成Hadoop分布式集群的主要任務。

2.根據權利要求1所述的一種基于Hadoop的網絡安全事件分析方法，其特征在于：所述方法采用分布式存儲HDFS集群，由一個NameNode和若干個DataNode組成，其中NameNode作為主服務器，管理文件系統的命名空間和客戶端對文件的訪問操作；集群中的DataNode管理存儲的數據；HDFS允許用戶以文件的形式存儲數據；從內部來看，文件被分成若干個數據塊并存放在一組DataNode上；NameNode執行文件系統的命名空間操作，也負責數據塊到具體DataNode的映射；DataNode負責處理文件系統客戶端的文件讀寫請求，并在NameNode的統一調度下進行數據塊的創建、刪除和復制。

3.根據權利要求1或2所述的一種基于Hadoop的網絡安全事件分析方法，其特征在于：所述MapReduce數據處理流程是利用一個輸入的key/value對集合來產生一個輸出的key??value對集合，對應MapReduce庫的兩個函數Map和Reduce，一個MapReduce作業把輸入的數據集切分為若干獨立的數據塊，由Map任務以并行的方式處理，先進行Map輸出的排序，然后把結果輸入給Reduce任務；作業的輸入和輸出都會被存儲在文件系統中，每一個Map任務和每一個Reduce任務均能夠同時運行于一個單獨的計算節點上。

4.根據權利要求3所述的一種基于Hadoop的網絡安全事件分析方法，其特征在于：所述Hadoop集群采用主從模式，在Hadoop的架構中，namenode和jobtracker屬于master，datanode和tasktracker屬于slave，master只有一個，而slave有多個。

5.根據權利要求4所述的一種基于Hadoop的網絡安全事件分析方法，其特征在于，所述方法的進程如下：

1）數據采集系統從各個網絡安全設備采集網絡安全事件信息并生成數據文件，使用API或命令將它們存入HDFS，數據由HDFS在多個普通硬件資源的節點上分布式存儲；

2）使用MapReduce對事件信息進行分析并輸出分析結果進行展示；MapReduce的輸入即為來自存儲在HDFS中的網絡安全事件信息，使用MapReduce對事件信息進行分析過程時，用戶需要自定義Mapper、Reducer函數；

3）Hadoop根據設定的InputDataFormat來將輸入文件分割成一個個（key1，value1）對，然后將這些（key1，value1）集合傳遞給map函數作輸入處理，map函數根據輸入（key1，value1），形成中間數據（key2，value2）并在節點間進行交換；

4）在map過程完成之后，Hadoop將這些生成的中間數據（key2，value2）按照Key2進行分組，形成<Key2,list(Value2)>,之后傳遞給reduce函數，在該函數中最終得到程序的輸出結果<Key3,Value3>；

5）reduce將自己的輸出寫入到結果文件中，使用output?data?format來配置輸出的文件格式。