[發明專利]一種基于大規模網絡流數據的異常檢測系統

有效

• 申請號: 201710880542.6
• 申請日: 2017-09-26
• 公開（公告）號: CN107786388B
• 公開（公告）日: 2020-02-14
• 發明（設計）人: 王平輝;齊逸巖;孫雨;管曉宏;陶敬;張巖;曹鵬飛;賈鵬;胡小雨;曹宇;蘭林
• 申請（專利權）人: 西安交通大學
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/06;H04L12/24
• 代理公司: 61215 西安智大知識產權代理事務所
• 代理人: 段俊濤

本發明提供一種基于大規模網絡流數據的異常檢測系統，通過對輸入的網絡流數據進行采樣和實時的三角形數目估計，檢測當前網絡中的某個點或某些點是否存在異常連接，包括數據預處理，網絡流數據采樣，網絡建模及三角形數目估計和異常檢測這四個子系統；在給定的網絡流提取出有用的信息；利用PartitionCT算法對流數據進行等概率采樣，建立相應的網絡模型，并實時的估計全局或局部三角形數量；利用該結果對網絡中是否存在異常進行判別；本發明可用于網絡流采樣；可用于估計網絡流圖中不同邊的數目；也可用于動態估計網絡中三角形數目并估計網絡密度；還可以根據估計出的全局或局部三角形數目，進行網絡或單個節點的異常檢測等。

技術領域

本發明屬于數據挖掘技術領域，特別涉及一種基于大規模網絡流數據的異常檢測系統。

背景技術

隨著互聯網技術和通信技術的應用與發展，復雜網絡開始在科學技術的各個領域有著廣泛的應用。例如，計算機網絡流量可以被表示為一個有向網絡，其中一個節點代表一臺計算機，而一條邊表示一臺計算機向另一臺傳遞的數據包。這些網絡結構可以很清晰的表示節點與節點之間的復雜關系，很多通過圖結構計算出來的特征被用于社團檢測、異常節點檢測等實際問題中。

而隨著需要處理的數據也越來越多，很多圖結構的大小是我們不可預知的，存儲這些圖結構需要耗費大量的物力人力，因此大量數據以流圖的形式呈現在人們面前。流圖并不實際存儲一個完整的圖結構，而是在每一條數據到來時動態的去計算某些預先設定的指標。

這里我們關注的是實時地處理大規模網絡流數據，例如網絡流量、大型社交網絡中好友關系的建立等；并對網絡中地異常情況做出快速判斷。但是由于數據量地巨大和設備資源地限制，我們并不能實時地去處理每一條數據。因此，主流方法通常采用采樣的方式來近似的估計網絡流中的各種指標；即設定一個隨機數產生器，和一個閾值用來代表采樣概率；若該隨機數產生器生成的值小于該閾值，則對其進行采樣。

然而，主流方法用在實際網絡流中通常會產生很多問題。一是，這些方法一般沒有考慮網絡流中的重復問題，例如：網絡流量中多個包可能具有相同的源地址和目的地址，通話網絡中的用戶也大都存在重復通話行為。顯而易見，這樣會造成重復流被采樣概率的增大和其他流被采樣概率的減小，產生很大的判別誤差。二是，這種采樣方法的閾值不好設定，面對規模未知的數據流，很容易出現內存溢出，造成系統崩潰。

此外，主流方法通常只考慮了網絡流中內容信息。但是由于異常種類的多變性，以及攻擊者的故意偽裝，只考慮網絡流中內容信息的異常檢測方法實際上很難奏效。而在研究中我們發現，異常的發生通常伴有網絡中全局或局部結構的變化。

為了克服上述現有技術的缺點，本發明的目的在于提供一種基于大規模網絡流數據的異常檢測系統，與傳統方法相比，本發明的一項優勢在于，能夠檢測大規模流數據的異常問題。本發明的另一項優勢在于，解決了常規采樣算法不能很好的在重復流數據等概率采樣的問題。本發明的又一項優勢在于，結合網絡結構特征來判斷節點和網絡上的異常，明顯提高了判斷精度。

為了實現上述目的，本發明采用的技術方案是：

基于大規模網絡流數據的異常檢測系統，包括：

數據預處理子系統，實現輸入數據的預處理，將原始流數據進行解析，處理成容易進行后續操作的三元組。

具體地，數據預處理子系統對給定的原始流數據進行解析，提取出流數據中的源節點、目的節點和所需的流信息。即三元組L＝(u,v,l)的第一項為源節點，第二項為目的節點，最后一項為所需的流信息。值得注意的是，三元組中最后一項可以為空，此時三元組中只包含流數據的方向信息。

網絡流數據采樣子系統，對不同的三元組進行等概率采樣，以數組的形式進行存儲；并不斷更新非重復邊的估計值，以及采樣邊權重。