[發明專利]基于大數據的網絡安全分析系統

在審

• 申請號: 202110043769.1
• 申請日: 2021-01-13
• 公開（公告）號: CN112783852A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 蔣丹陽;錢承山;孫寧;毛偉民;茹清晨;王彭輝;趙賢;宗文杰
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/2453;G06K9/62;G06N3/04;G06N3/08;H04L29/06
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 張華蒙

1.基于大數據的網絡安全分析系統，其特征在于：包括依次通過網絡連接的數據采集模塊，數據預處理模塊，實時在線分析模塊，數據存儲模塊、數據分析模塊，模型融合模塊；數據采集模塊與數據預處理模塊通過HTTP協議進行數據通信；

其中，數據采集模塊采用Chukwa+Scribe、Spark、Gbase處理方式采集日志信息；采用Scribe分布式日志系統進行數據分布式待機；

數據預處理模塊采用Informatica Power Center，對采集的原始數據進行數據清洗、數據集成、數據變換、數據規約最終得到處理結果；采用Cloudar Impala實現數據的實時在線分析；

數據存儲模塊存儲由數據預處理模塊處理的數據；

數據分析模塊采用聯機分析處理方式；Apache Kylin為大數據分析引擎，它支持在超大數據集上進行秒級的OLAP查詢；

數據分析模塊實現對數據的統計分析和挖掘分析，采用分布式計算框架YARN進行數據劃分、計算任務調度和分布式計算。

2.根據權利要求1所述的基于大數據的網絡安全分析系統，其特征在于：還包括數據可視化模塊，將數據以圖形圖像的形式表示出來。

3.根據權利要求1所述的基于大數據的網絡安全分析系統，其特征在于：所述的數據分析模塊的Resource Manager負責應用程序所需要的計算資源，ApplicationMaster負責作業的調度、跟蹤和監控；采用神經網絡對采集的數據進行分析。

4.根據權利要求1所述的基于大數據的網絡安全分析系統，其特征在于：在所述的數據分析模塊選用多層神經網絡進行訓練，算法則采用誤差逆傳播算法；通過迭代性的來處理訓練集中的實例，對比經過神經網絡后輸入層預測值與真實值之間的誤差；反方向來以最小化誤差來更新每個連接的權重；

輸入：D：數據集，l學習率，一個多層前向神經網絡

輸出：一個訓練好的神經網絡；

初始化權重和偏向:隨機初始化在-1到1之間，或者-0.5到0.5之間，每個單元有個偏向；

對于每一個訓練實例X，執行以下步驟：

由輸入層向前傳送，其中，O_i為每一層的元素值，以Input Layer層來說，O_i的值為x₁，x₂...x_n；w_ij為權重，θ_j為偏向:隨機初始化在-1到1之間，或者-0.5到0.5之間；I_j為下一層單元的預測值；

非線性轉化方程：式中O_j為下一層單元預測值的非線性轉化，作為下一層的輸入；

根據誤差反向傳送

對于輸出層：T_j為真實值，Err_j為輸出層誤差

Err_j＝O_j(1-O_j)(T_j-O_j)

對于隱藏層：Err_k為反傳輸前一層誤差，w_jk為反向傳輸前一層誤差對應權重

權重更新：Δw_ij為權重更新量，l為學習率取值為0-1

Δw_ij＝(l)Err_jO_i

本次權重w_ijn等于上一次權重與權重更新量之和

w_ijn＝w_ij+Δw_ij

偏向更新：Δθ_ij為偏向更新量

Δθ_j＝(l)Err_j

本次偏向θ_jn等于上一次偏向與偏向更新量之和

θ_jn＝θ_j+Δθ_j

終止條件：權重的更新低于某個閾值，預測的錯誤率低于某個閾值，達到預設一定的循環次數；對每個block塊經過神經網絡訓練，訓練出模型，之后對這些模型進行集成，共同完成學習任務。