[發明專利]一種基于對稱度Sketch的網絡流量異常檢測與定位方法

有效

• 申請號: 201611119888.6
• 申請日: 2016-12-08
• 公開（公告）號: CN106657038B
• 公開（公告）日: 2019-12-27
• 發明（設計）人: 秦濤;劉艷雨;王平輝;王博;沈壯;管曉宏
• 申請（專利權）人: 西安交通大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L12/26
• 代理公司: 61215 西安智大知識產權代理事務所
• 代理人: 劉國智

本發明公開了一種基于對稱度Sketch的網絡流量異常檢測與定位方法，提出采用連接對稱度來實現異常行為的檢測，其檢測粒度和精度都要高于傳統的基于流量特征統計的方法；本發明提出了連接對稱度的計算方法?連接度sketch，將IP地址按照其結構特征分為四段，每一段采用相應的hash函數組進行映射，不但有效的降低了hash表的長度，也有效的降低了沖突發生的概率，獲得比較精確的主機連接對稱度；接著提出了根據流量自身特征的分布情況獲取閾值的方法，所獲得的閾值根據網絡流量特征實時變化，能夠較為精準的捕獲到異常行為的特征，獲得較好的檢測效果；最后，通過設計sketch的核心hash函數組，利用中國余數定理，實現異常源的解析求解，并且求解過程簡單高效，結果準確。

技術領域

本發明屬于數據流分析處理技術領域，涉及一種基于對稱度Sketch的網絡流量異常檢測與定位方法。

背景技術

隨著計算機網絡技術的發展和應用，網絡帶寬和網絡流量快速增長，海量的網絡流量數據給大規模網絡的實時有效測量和監控帶來了巨大挑戰。網絡的實時有效測量對網絡管理、流量規劃、網絡計費有重要意義，例如網絡運營商需要統計網絡帶寬的使用情況或者流量的統計信息來進行計費，網絡管理者需要根據流量統計信息更新路由器的路由表，以及通過對網絡流量的有效分析來及時發現和處理網絡異常事件。為此大規模網絡流量的實時測量和監控系統在性能上需要滿足下面三個基本的要求：

1)高效的處理速度，對于每個數據包的處理必須高效快速。

2)較小的內存需求。

3)快速而且準確的數據查詢。

異常檢測主要分為兩類：基于特征的檢測和基于統計的檢測?；谔卣鞯臋z測主要是通過尋找能與已知異常特征相匹配的模式來檢測異常，需要預先設定特征庫或規則庫。這種方法的優點是能夠準確檢測已知的異常，缺點是不能檢測未知異常，同時隨著異常種類的增多，特征庫很龐大，監測性能下降。因此基于特征的異常監測只能適用于局域網，不能滿足骨干鏈路的速率?；诮y計的檢測不需要預先了解異常的特征和屬性，能夠有效的檢測已知和未知異常。在基于統計的檢測方法中很重要的一部分就是變化檢測，主要是通過歷史流量得到一個正常的流量模型，然后通過檢測在短期內不符合此模型的行為來發現異常。

網絡流是網絡流量測量和監控領域常用的處理技術，網絡流通常的定義是具有相同五元組(協議類型，源IP，源端口，目的IP，目的端口)的所有網絡數據包集合。對于基于網絡流的網絡流量測量和監控，如果精確的測量，則需要存儲每條網絡流的狀態信息。對于大規模的網絡流量而言，這需要巨大的內存空間，目前而言往往是無法實現的。目前硬件的處理速度已經跟不上網絡流量的增長速度，同時隨著網絡帶寬和網絡流的在逐年劇增，這一差距還在不斷擴大。綜上可知，對大規模網絡特性實時精確的測量已經是遙不可及，目前許多處理大規模網絡流量的技術方法都是采用概率估計的技術方法。

數據采樣是一種常用的數據處理技術，在網絡流量處理領域有著廣泛的應用。有關采樣技術國內外都有著廣泛深入的研究，提出了數據包隨機采樣，網絡流采樣，智能采樣等多種采樣技術。其中一些技術已經應用于實際的生產實踐中了，例如Cisco路由器上的Netflow數據流信息就是經過數據包采樣后的結果。由于采樣的技術僅僅處理并存儲極少部分數據的信息，因此所需要的存儲空間相對很小，處理的效率也很高。同時采樣技術的缺陷是有很多的數據包以及網絡數據流的丟失，尤其是網絡數據包數較少的網絡流。這將給網絡的測量與監控帶來一系列的問題，比如Dos和DDos攻擊的有效檢測。