[發明專利]一種基于LDA機器學習的網絡安全威脅分析方法及系統

在審

• 申請號: 201910654813.5
• 申請日: 2019-07-19
• 公開（公告）號: CN110378124A
• 公開（公告）日: 2019-10-25
• 發明（設計）人: 陳庶樵;李偉;吳玲花;劉鵬
• 申請（專利權）人: 杉樹嶺網絡科技有限公司
• 主分類號: G06F21/57
• 分類號: G06F21/57;H04L29/06;G06F16/33;G06F17/16;G06N20/00
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 劉小峰

1.一種基于LDA機器學習的網絡安全威脅分析方法，其特征在于，所述方法包括以下步驟：

步驟1、根據具體應用場景，對不同類型的網絡流量進行數據采集；

步驟2、在所述步驟1之后，使用LDA主題模型機器學習算法，計算網絡連接的異常概率；

步驟3、在通過所述步驟2計算網絡連接的異常概率之后，結合威脅情報數據庫，使用基于信譽度檢測的方法，檢測可疑網絡連接的攻擊類型，并對結果進行呈現。

2.根據權利要求1所述的基于LDA機器學習的網絡安全威脅分析方法，其特征在于，所述步驟1還包括步驟1.1：

對采集到的網絡數據進行數據預處理，所述數據預處理包括數據清洗、數據格式變換、特征提取、數據存儲。

3.根據權利要求1所述的基于LDA機器學習的網絡安全威脅分析方法，其特征在于，所述步驟2包括以下子步驟：

1)每個IP文檔進行LDA主題建模，得到文檔主題和主題詞語的初始分布；

2)LDA模型通過采樣的方法來更新矩陣。所述模型通過更新文檔中每個詞語的主題歸屬情況來調整模型的參數值，經過一系列的迭代計算后，LDA模型達到收斂狀態，得到一組最佳參數值；

3)根據上述為每個IP地址網絡行為建立的概率模型，為每一個網絡事件計算一個概率值，其中概率值較低的網絡事件標記為“可疑的”，便于做進一步分析；

4)根據子步驟3)，將概率值低于設定閾值的作為可疑網絡連接列表。

4.根據權利要求1所述的基于LDA機器學習的網絡安全威脅分析方法，其特征在于，所述步驟2中，對所述LDA模型進行主題建模前，還包括選取主題數的步驟，選取主題數時，采取以下方法：

針對不同主題數，分別計算下面式子對應的值，選取波谷所在位置對應的主題數，得到最佳主題數：

KL(C_M1||C_M2)+KL(C_M2||C_M1)

其中，C_M1是M1矩陣的奇異值分布，M1是主題-詞語矩陣；

C_M2是將矢量L和矩陣M2的乘積，即L*M2進行歸一化之后得到的分布，其中L是1*D維矢量，矢量中各元素為語料庫中每個文檔的長度，M2是文檔-主題矩陣；

KL定義為

5.根據權利要求1所述的基于LDA機器學習的網絡安全威脅分析方法，其特征在于，所述步驟3之后，將網絡攻擊行為的檢測結果作可視化處理，進一步展示給用戶；經過用戶確認的反饋信息，反饋到機器學習異常計算模塊。

6.一種基于LDA機器學習的網絡安全威脅分析系統，其特征在于，包括數據采集模塊、機器學習計算模塊、運營分析模塊以及數據存儲倉庫：

所述數據采集模塊分別與所述機器學習計算模塊和所述數據存儲倉庫通訊地連接，所述數據采集模塊被配置為根據具體應用場景對不同類型的網絡流量進行數據采集；

所述機器學習計算模塊接收采集到的數據并使用所述LDA主題模型機器學習算法計算網絡連接的異常概率；

所述運營分析模塊與所述機器學習計算模塊通訊地連接并接收所述異常概率，并結合獲取的威脅情報數據，基于所述異常概率及所述威脅情報數據并通過信譽度檢測的方法檢測可疑網絡連接的攻擊類型并輸出結果。

7.根據權利要求6所述的基于LDA機器學習的網絡安全威脅分析系統，其特征在于，還包括：

預處理模塊，所述預處理模塊通訊地連接所述數據采集模塊，用于對采集到的網絡數據進行數據預處理，并將處理后的數據存儲到所述數據存儲倉庫中。