[發明專利]一種網絡異常流量的檢測方法及系統

有效

• 申請號: 201810471902.1
• 申請日: 2018-05-17
• 公開（公告）號: CN110505179B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 陳曉;余樹文;郭志川;唐政治
• 申請（專利權）人: 中國科學院聲學研究所
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京方安思達知識產權代理有限公司 11472
• 代理人: 陳琳琳;王蔚

本發明公開了一種網絡異常流量的檢測方法及系統，所述方法包括：步驟1)獲取流量數據并抽取流量特征，構建數據集；步驟2)對步驟1)的數據集進行粗聚類，將數據集劃分為若干個聚類；步驟3)將聚類的樣本數小于閾值的聚類中樣本劃分為全局離群點，確定為網絡異常流量，對于聚類的樣本數不小于閾值的聚類，使用孤立森林算法對該聚類進行檢測，如果某個聚類的樣本為局部離群點，則確定為網絡異常流量。本發明的網絡異常流量的檢測方法具有快速，全面和有效的優點。

技術領域

本發明涉及網絡信息安全領域，特別涉及一種網絡異常流量的檢測方法及系統。

背景技術

隨著網絡技術高速發展，互聯網應用爆發式增長，同時伴隨移動互聯網逐漸成熟，網絡環境也漸趨復雜。快速增長的網絡流量中包含了大量對用戶有害的網絡入侵行為，給網絡服務質量(QoS)以及網絡安全帶來巨大壓力。常見的入侵檢測系統主要包含特征檢測和異常檢測，異常檢測通過分析網絡流量相關數據來判斷系統中是否含有對網絡安全有害的異常行為，設計高精確度的網絡異常流量檢測模型逐漸成為研究熱點。

目前的網絡異常流量檢測方法主要分為基于統計與數據分布的方法、有監督學習和無監督學習判別方法。

基于統計與數據分布：一般需要建立模型來刻畫流量，假設正常流量服從特定的概率分布。使用閾值基線，超出閾值就判定為異常，例如使用流量數據的熵量。

有監督學習的方法：需要給定帶有正常和異常標簽的流量數據，但是異常流量的種類繁多，需要一套定義良好的數據集以提取其中的流量特征。在離線網絡環境中，有監督學習所訓練的分類器具有較好的檢測能力，然而在復雜的動態網絡環境中，由于缺乏定義良好的訓練數據，上述模型難以分辨當前未知的、復雜的攻擊模式，較難訓練出可以有效區分正常和異常流量數據的分類器。

無監督學習的方法：假定正常的網絡具有一套正常的行為模式，偏離基線的網絡流量屬于異常流量，通過偵測離群點來檢測異常網絡流量。網絡流量通過屬性特征的量化，可以將流量映射到特征空間，研究表明正常流量與異常流量在特征空間中的分布存在明顯差異。一些方法基于特征空間中的距離與密度，例如使用局部異常因子算法來判斷離群點，但局部異常因子算法需要大量計算數據點兩兩之間的距離，復雜度較高。在特征空間使用基于劃分的孤立森林算法可以快速并且有效地偵測離群點，以檢測偏離當前網絡行為的異常流量，其復雜度低于局部異常因子算法，并且可以應用于分布式計算場景。

發明內容

本發明的目的在于克服現有技術中的不足：已有的基于有監督學習的異常網絡流量識別方法在動態網絡環境中對變異以及未定義攻擊模式難以識別，使用孤立森林算法可以快速并有效地檢測離群點，以確定異常網絡流量。但單獨使用孤立森林算法對局部離群點難以檢測。

為了實現上述目的，本發明提供了一種網絡異常流量的檢測方法，所述方法包括：

步驟1)獲取流量數據并抽取流量特征，構建數據集；

步驟2)對步驟1)的數據集進行粗聚類，將數據集劃分為若干個聚類；

步驟3)將聚類的樣本數小于閾值的聚類中樣本劃分為全局離群點，確定為異常流量，對于聚類的樣本數不小于閾值的聚類，使用孤立森林算法對該聚類進行檢測，如果某個聚類的樣本為局部離群點，則確定為異常流量。

作為上述方法的一種改進，所述步驟1)具體包括：

步驟1-1)從網絡中截取數據流量包，將一系列具有相同源地址、目的地址、源端口、目的端口和協議的數據匯聚為一個數據流，數據包匯聚為雙向流；