[發明專利]一種基于大規模網絡流數據的異常檢測系統

有效

• 申請號: 201710880542.6
• 申請日: 2017-09-26
• 公開（公告）號: CN107786388B
• 公開（公告）日: 2020-02-14
• 發明（設計）人: 王平輝;齊逸巖;孫雨;管曉宏;陶敬;張巖;曹鵬飛;賈鵬;胡小雨;曹宇;蘭林
• 申請（專利權）人: 西安交通大學
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/06;H04L12/24
• 代理公司: 61215 西安智大知識產權代理事務所
• 代理人: 段俊濤

1.基于大規模網絡流數據的異常檢測系統，其特征在于，包括：

數據預處理子系統，實現輸入數據的預處理，將原始流數據進行解析，處理成容易進行后續操作的三元組L＝(u,v,l)，u為源節點，v為目的節點，l為所需的流信息；

網絡流數據采樣子系統，對不同的三元組進行等概率采樣，以數組的形式進行存儲；并不斷更新非重復邊的估計值，以及采樣邊權重；

網絡建模及三角形數目估計子系統，通過分析采樣后的三元組，建立并更新節點的網絡模型，以鄰接表的形式存儲；并不斷更新全局和局部三角形計數器；

異常檢測子系統，利用網絡建模及三角形數目估計子系統估計出的全局或局部三角形估計值，檢測單個節點或整個網絡中是否存在異常情況。

2.根據權利要求1所述基于大規模網絡流數據的異常檢測系統，其特征在于，所述三元組中l為空，此時三元組中只包含流數據的方向信息。

3.根據權利要求1所述基于大規模網絡流數據的異常檢測系統，其特征在于，所述網絡流數據采樣子系統應用PartitionCT算法對數據流三元組進行采樣：將采樣數組定義為B，其大小，即存儲數據的個數為|B|＝k，元素b_j＝(x_j,y_j,z_j)∈B，j＝1,2,...,k，與流數據三元組L具有相同的數據類型；初始化定義當前網絡流中不同邊的數目為并初始化定義采樣邊權重為q，并初始化q←1，其中←表示賦值操作，將后者的值賦給前者。

4.根據權利要求3所述基于大規模網絡流數據的異常檢測系統，其特征在于，定義兩個哈希函數：

H₁:N²→[0,+∞)，將三元組中的源節點和目的節點隨機映射到[0,+∞)區間，H₁映射出的值滿足參數為0.5的幾何分布，其中H₁(0,0)＝0；

H₂:N²→{1,2,...,k}，將三元組中的源節點和目的節點隨機映射到{1,2,...,k}共k個整數中，H₂映射出的值滿足均勻分布；

其中，N表示自然數集合，→表示從前者到后者的映射關系，H₁和H₂均滿足自反性，即H₁(u,v)＝H₁(v,u)，H₂(u,v)＝H₂(v,u)。

5.根據權利要求4所述基于大規模網絡流數據的異常檢測系統，其特征在于，所述網絡流數據采樣子系統在三元組L＝(u,v,l)到來時，令哈希值j＝H₂(u,v)，b_j＝(x_j,y_j,z_j)∈B，分為4種情況處理：

(1)若b_j為空，令b_j＝L；

(2)若b_j＝L，更新z_j←z_j∪l；

(3)若b_j不為空，并且b_j≠L，并且H₁(u,v)>H₁(x_j,y_j)，令b_j＝L；

(4)否則等待下一條數據流；

對于情況(1)(3)，系統更新而對于(2)(4)，和q的值保持不變。

6.根據權利要求1所述基于大規模網絡流數據的異常檢測系統，其特征在于，所述網絡建模及三角形數目估計子系統將網絡結構表示為鄰接表形式，G_u,l表示鄰接表G中索引為節點u和邊信息l的數組，G_u表示鄰接表G中索引包含節點u的所有數組，網絡中第m種三角形計數表示為為全局三角形計數；對應的，包含節點u的第m種三角形計數表示為為局部三角形計數。

7.根據權利要求1所述基于大規模網絡流數據的異常檢測系統，其特征在于，所述異常檢測子系統利用分析正常網絡和異常網絡得到的特征三角形向量訓練多種分類器，對網絡流中節點或網絡整體的異常情況做出判斷，最后綜合判斷當前節點或網絡是否存在異常。