[發明專利]一種迭代聚類的網絡流量異常檢測方法

有效

• 申請號: 202110362634.1
• 申請日: 2021-04-02
• 公開（公告）號: CN113242207B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 曾濤;許峰;呂鑫;王鑫元
• 申請（專利權）人: 河海大學
• 主分類號: H04L9/40
• 分類號: H04L9/40;G06K9/62;G06N3/08
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 凌雋宇

本發明公開了一種迭代聚類的網絡流量異常檢測方法，包括網絡流量歷史數據預處理；網絡流量樣本數據降維；采用迭代聚類方法聚類，得到帶偽標簽的流量樣本和檢測異常網絡流量四個步驟；具有能夠處理大量數據、實時性強、靈活、擴展性強、魯棒的實現實時且穩定的網絡流量異常檢測的特點。

技術領域

本發明屬于深度學習和網絡安全的交叉領域，涉及一種迭代聚類的網絡流量異常檢測方法。

背景技術

互聯網技術在各行業的普及為人們工作生活帶來極大的便利，越來越多的業務和設備需要網絡的支持，但同時，網絡攻擊的手段及規模也在發展，造成的損失和影響也越來越大，網絡安全面臨巨大威脅，入侵檢測是當前各公司及政府部門主要防范網絡安全威脅的主要手段之一。入侵檢測是一類通過主動監控流量數據以識別攻擊并發出警報的網絡攻擊檢測方法。早期的入侵檢測系統主要是通過人工識別特征碼，再通過特征碼檢測技術實現，該方法易漏報新型攻擊手段，隨后出現了基于行為建模的檢測方法，利用數據挖掘和機器學習等手段，但當網絡流量較大時，模型需要的計算量較大，無法滿足當前的需求，且該類方法需要預先標記大量數據，成本較大。近年來，深度神經網絡優秀的學習能力和非線性優化能力，使得其在圖像識別、語音識別、機器翻譯和異常檢測領域成果顯著，在網絡流量異常檢測中引入人工智能技術，采用數據驅動的方式研究網絡流量異常檢測方法成為重點。

目前，通過學習數據本身的特征進行網絡流量異常判別逐步替代了基于手工特征的異常流量檢測技術，而基于深度神經網絡的方法被認為是最合適的學習數據特征表達的方法。深度學習技術能夠取得巨大成功，得益于數有效數據的積累和計算能力的提升。深度學習方法按照對數據的依賴程度不同可分為三類：監督學習、半監督學習和無監督學習，顧名思義，監督學習的訓練數據依賴于帶標簽的數據訓練模型，而無監督學習的所用的數據沒有標簽，半監督學習則只需要少量帶標簽數據即可，隨著標簽可用率的降低，模型性能也隨之下降。Al-Qatf等提出結合稀疏自編碼和支持向量機的入侵檢測方法，但是針對大量數據的檢測，支持向量機無法滿足需求。Mirsky等人和Al-Hawawreh等人都采用自編碼網絡進行數據的無監督學習，但模型的訓練過程漫長，且對新型攻擊手段的發現能力不足。Mirza等人則是考慮引入時間維度進行特征提取，并融合自編碼提取的特征，實現入侵檢測，時間維度的引入會影響檢測的實時性。

當基于深度神經網絡的網絡流量異常檢測方法在真實網絡環境中實施時，帶標簽數據稀少導致性能較好的監督學習模型不能采用，無監督學習模型因其可靠性不足得不到用戶的認可，而網絡流量數據量巨大，計算復雜的深度網絡模型無法提供實時檢測的需求。且考慮到流量數據特征較多，直接參與計算，會使得計算量急劇增加，且維度高會引起聚合度降低，進一步加大了特征學習的難度。Xiao等人提出采用CNN選擇流量特征，并根據異常數據量設置每個類別的損失函數權重系數，解決類別不均衡問題，但是其過度依賴數據集，應用場景受限。

綜上，在當前網絡流量數據急劇增加的環境下，實現實時且穩定的網絡流量異常檢測方法，需要滿足處理大量數據、實時性、靈活、擴展性強、魯棒等需求。

發明內容

本發明針對大量無標簽的網絡流量樣本數據，以及少量帶標簽的網絡流量樣本數據，通過訓練得到入侵檢測模型，用來對網絡流量實時數據進行分類，檢測出異常數據。

本發明采用的技術方案是：

一種迭代聚類的網絡流量異常檢測方法，包括以下步驟：

對網絡流量歷史數據進行抽樣，再進行預處理，得到網絡流量樣本數據；

構建自編碼降維模型，對網絡流量樣本數據進行降維，得到降維后的流量樣本數據；

采用迭代聚類方法對降維后的流量樣本數據進行聚類，得到聚類后的流量樣本數據，再結合現有異常流量數據，對聚類后的流量樣本數據打上偽標簽，得到帶偽標簽的流量樣本；