[發明專利]一種面向大數據應用平臺的入侵檢測的實時分析系統

無效

• 申請號: 201310526461.8
• 申請日: 2013-10-30
• 公開（公告）號: CN103561018A
• 公開（公告）日: 2014-02-05
• 發明（設計）人: 柯宗貴;柯宗慶;楊育斌;趙必廈
• 申請（專利權）人: 藍盾信息安全技術股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及網絡安全技術領域，尤其涉及一種面向大數據應用平臺的入侵檢測的實時分析系統。

背景技術

隨著云計算、移動互聯網、物聯網的崛起與發展，大數據的時代已經來臨。大數據應用平臺已經在各個大型公司中運行推廣開來。但是，一般大數據應用平臺都關注于性能和功能，而較少考慮安全方面的因素。因此，在大數據應用平臺中附加一個入侵檢測系統，有其應用意義和商業價值。

常規的入侵檢測系統，可以監控網絡、系統、主機、存儲、應用等。入侵檢測系統所采用的技術可分為特征檢測與異常檢測兩種。入侵可以分為3類：1)基于主機、2)基于網絡、3)分布式。一個成功的入侵檢測系統，可使系統管理員時刻了解網絡系統，包括程序、文件和硬件設備等的任何變更，給網絡安全策略的制訂提供指南，管理、配置簡單，使非專業人員非常容易地獲得網絡安全的管理配置等。而且入侵檢測的規模還應根據網絡威脅、系統構造和安全需求的改變而改變。入侵檢測系統在發現入侵后，會及時做出響應，包括切斷網絡連接、記錄事件和報警等。

但是常規的入侵檢測技術，一般是單機安裝部署的，無法對大數據應用平臺進行分析，因為大數據應用平臺一般都是分布式集群架構，流量和信息量比較大。因此，大數據的入侵檢測平臺，必然架構在集群技術之上。

此外，基于Hadoop的入侵檢測系統，可以實現對大數據應用平臺的入侵檢測。Hadoop是一個基于云計算思想的開源云計算平臺框架。Hadoop具備諸多優點，如高可靠性、高擴展性、高效性、高容錯性等。它能夠部署在大量廉價硬件設備上，組成組成成本較低而規模大的云計算集群。Hadoop用戶可以在不了解該平臺上底層細節的情況下，開發自己的應用程序。

Hadoop云計算平臺具有強大的數據收集與運算的能力，將其融合到入侵檢測系統，能夠為其提供強大的技術支持。如Hadoop云計算平臺能夠為入侵檢測系統提供分布式計算、分布式文件存儲服務、管理作業、文件系統等服務。應用Hadoop云計算平臺能夠更好的對海量數據進行分析，對相應的信息進行挖掘，提高IDS對海量數據的處理能力，從而進一步提高入侵檢測系統的相關性能。

基于Hadoop的入侵檢測系統，無法實現實時性，只能做事后彌補，這是由Hadoop的批處理特性所決定的。

狹義上來說，Hadoop是MapReduce和HDFS的結合，采用一種離線模式或者批處理的模式。Hadoop處理數據的方式是數據并行，處理串行。在Hadoop所采用的批處理的工作方式下，每個job并行只發生在一個map段和一個reduce段中，并且這兩個階段不能并行執行，所有被map過程訪問的數據都會被凍結，直至整個工作job執行結束。并且Hadoop中的數據通過分布式文件系統(HDFS)進行組織，網絡I/O開銷會帶來相應的延遲。因此Hadoop也有許多缺點——延遲大，響應緩慢，運維復雜。這意味著Hadoop并不適合實現對延遲要求很嚴格的場景中，如在線的實時應用。基于Hadoop的入侵檢測系統，也因此很難做到較好的實時性。

發明內容

本發明的目的是為了克服現有技術的缺陷，提供一種面向大數據應用平臺的入侵檢測的實時分析系統。本系統主要分為3層，信息采集層、運算層、展示層。

信息采集層，主要包含監控模塊及2個相互通信的組件：部署在大數據應用平臺節點上面的Agent與部署在入侵檢測系統的Server。

運算層，包括特征庫模塊、實時分析模塊、趨勢分析模塊。特征庫模塊，主要包括正則匹配組件與HBase數據庫；實時分析模塊，基于Storm實現；趨勢分析模塊，基于RHadoop實現。

展示層，包括告警模塊和統一報表模塊。

本發明技術方案帶來的有益效果：

通過本發明能夠實時地對大數據應用平臺進行入侵檢測，實時監控，主動發現，主動防御，聯動管控。其次，基于大數據的入侵檢測，可以無限擴展。另外，大數據應用平臺在入侵檢測系統的協助下，可以只關注業務，無需花費精力擔心內外部用戶的入侵。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其它的附圖。

圖1是典型的大數據應用平臺的拓撲結構圖；

圖2是本發明的面向大數據應用平臺的入侵檢測的實時分析系統的拓撲結構圖；