[發明專利]一種基于LDA機器學習的網絡安全威脅分析方法及系統

在審

• 申請號: 201910654813.5
• 申請日: 2019-07-19
• 公開（公告）號: CN110378124A
• 公開（公告）日: 2019-10-25
• 發明（設計）人: 陳庶樵;李偉;吳玲花;劉鵬
• 申請（專利權）人: 杉樹嶺網絡科技有限公司
• 主分類號: G06F21/57
• 分類號: G06F21/57;H04L29/06;G06F16/33;G06F17/16;G06N20/00
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 劉小峰

本發明公開了一種基于文檔主題生成模型(LDA)機器學習的網絡安全威脅分析方法及系統，包括如下步驟：步驟1、在數據采集模塊中，根據具體應用場景，對不同類型的網絡流量進行數據采集。步驟2、在機器學習計算模塊中，使用LDA主題模型機器學習算法，來計算網絡連接的異常概率。步驟3、在運營分析模塊中，結合威脅情報數據庫，使用基于信譽度檢測的方法，來檢測可疑網絡連接的攻擊類型。本發明提出的基于LDA機器學習的網絡安全威脅分析方法及系統可以有效地偵測出可疑連接、異常流量和未知攻擊。

技術領域

本發明涉及網絡安全領域，更具體地，特別是指一種基于文檔主題生成模型(LDA)機器學習的網絡安全威脅分析方法及系統。

背景技術

由于信息技術的高速發展，互聯網已經成為人們日常生活、工作中不可缺少的工具。但隨之而來的問題是，網絡空間的廣泛脆弱性將使之面臨網絡安全威脅形勢。

現有網絡安全技術以漏洞為中心，基于特征進行網絡安全檢測，將網絡流量與特征進行比對，可以有效的檢測已知漏洞或已知的網絡攻擊行為。

但是這種方法依賴于特征規則庫，需要不斷更新，而且這種檢測無法對未知的威脅或攻擊形成有效防范。而新的攻擊手段、新的漏洞層出不窮，傳統的網絡安全方案面對這些新型的網絡攻擊，其效果有限。

此外，當前已進入云計算大數據時代，網絡流量快速增長，海量的網絡流量數據，方便了網絡攻擊者對攻擊流量的隱藏，也大大提高了安全分析的難度，超出了傳統網絡安全檢測技術的處理能力。

如上所述，基于特征規則庫的網絡異常檢測方法依賴于規則庫，需要更新維護，且無法對未知的異常流量攻擊形成有效防范。

關于LDA主題分布機器學習方面，幾乎所有先前的方法都隱含假設主題數是事先知道的，這些方法包括潛在語義分析(LSA)，概率潛在語義分析(PLSA)，非負矩陣分解算法(NNMF)，它們將潛在主題模擬成概率分布或者主題空間的基向量集合。而這些方法的準確度對主題數較敏感，當針對少量的語料庫預估主題數時可能還較容易，但當語料庫的規模變得龐大時預估主題數就不切實際了。

發明內容

針對這些問題，本發明利用機器學習LDA主題模型算法，采用無監督機器學習技術，進行異常流量偵測，并結合云計算大數據處理技術，有效地從海量的網絡流量中檢測出可疑連接異常流量和未知攻擊。此外，本方案通過特定的計算方法，事先確定LDA模型主題數，獲取準確度，簡化模型訓練過程又更具合理性。

基于上述闡述的內容及所要解決的技術問題，本發明提供了一種基于 LDA機器學習的網絡安全威脅分析系統和方法，其中：

提供了一種基于LDA機器學習的網絡安全威脅分析系統，包括數據采集模塊、機器學習計算模塊、運營分析模塊以及數據存儲倉庫：

數據采集模塊分別與機器學習計算模塊和數據存儲倉庫通訊地連接，數據采集模塊被配置為根據具體應用場景對不同類型的網絡流量進行數據采集；

機器學習計算模塊接收采集到的數據并使用LDA主題模型機器學習算法計算網絡連接的異常概率；

運營分析模塊與機器學習計算模塊通訊地連接并接收異常概率，并從數據存儲倉庫獲取威脅情報數據，基于異常概率及威脅情報數據并通過信譽度檢測的方法檢測可疑網絡連接的攻擊類型并輸出結果。

根據本發明的一個實施例，基于LDA機器學習的網絡安全威脅分析系統還包括：

預處理模塊，預處理模塊通訊地連接數據采集模塊和數據倉庫，用于對采集到的網絡數據進行數據預處理，并將處理后的數據存儲到數據倉庫中。

根據本發明的一個實施例，機器學習計算模塊中包括以下子模塊：

主題建模子模塊，用于對每個IP文檔進行LDA主題建模，得到文檔主題和主題詞語的初始分布；