[發明專利]一種基于增強型角度異常因子的數據流異常檢測及多重驗證的方法

有效

• 申請號: 201710823063.0
• 申請日: 2017-09-13
• 公開（公告）號: CN107682319B
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 首照宇;田浩;鄒風波;張彤;程夏威;文輝;趙暉;莫建文;汪延國;曾情;李希成
• 申請（專利權）人: 桂林電子科技大學;桂林宇輝信息科技有限責任公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06F16/2458;G06F16/906
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 劉梅芳

1.一種基于增強型角度異常因子的數據流異常檢測及多重驗證的方法，其特征是，包括如下步驟：

1)對實時數據流進行處理：對數據采集終端采集的各式各樣的實時數據流按照構成數據的最小單位和采集時的時間順序，將一個時間段獲得的數據組成數據塊，將幾個數據塊構成滑動窗口處理的數據集S；

2)對所述步驟1)處理后得到的結果進行設置得到當前滑動窗口中數據集S，設S＝{X₁,X₂,...,X_n}，其中包含n個數據點，每個數據點根據其屬性表示為其中表示數據點x_i有d個屬性，用于后續聚類和異常檢測；

3)初始化參數k、r、ξ：設定初始化參數，其中k表示數據點的k個最近鄰點的個數，r為數據點的空間鄰域半徑，ξ為異常判決閾值調整系數，異常判決閾值θ＝μ+ξ·δ，其中μ和δ對應所有數據點增強型角度異常因子的均值及標準差；

4)獲取距離矩陣dist：結合步驟2)中的數據集S，計算所有數據點之間的距離，得到n×n的距離矩陣dist，dist＝[d_ij]_n×n，計算公式為公式(1)：

其中X_i和Y_j都是集合S中的數據點，并且x_ik表示數據點x_i有k個屬性，y_jk表示數據點y_j有k個屬性；

5)得到r鄰域點集合：根據空間鄰域半徑r，得到每個數據點的r鄰域點集合即該點處以鄰域半徑r為半徑，圈住的所有數據點的集合；

6)得到r鄰域點集合的角度因子和局部密度結合距離矩陣dist得到r鄰域點集合的角度因子和r鄰域點集合的局部密度其中N_r數據點x_i的r鄰域；

7)獲取相異度δ(x_i)：根據步驟6)中得到的r鄰域點集合的局部密度進行排序后，計算對應的相異度δ(x_i)；

8)獲取各數據點的簇心因子τ(x_i)：結合步驟6)和步驟7)獲取簇心因子τ(x_i)為公式(5)：簇心因子τ(x_i)用來度量數據點處于簇心的程度；

9)獲取歸屬矩陣：對步驟8)中得到的所有數據點簇心因子，進行降序排序得τ(p₁)≥τ(p₂)≥…≥τ(p_n)，其中p_n表示對應數據點的原始序號，從而得到用于聚類的歸屬矩陣F＝[f₁,f₂,...,f_n]；

10)確定簇心并聚類：利用簇心因子和歸屬矩陣對數據集S進行簇心確定及聚類，將所有類標號相同的數據點組成集合，即簇，得到m＝C_{center_id}個簇C₁,C₂,...,C_m，其中C_{center_id}為簇心序號，完成對數據集S的聚類；

11)對聚類后的各簇分別進行異常檢測：步驟10)中得到各個簇C_i(i＝1,2,…,m)，先對聚類后的數據集S中的各個簇C₁,C₂,...,C_m，分別進行異常檢測，得到各簇異常點集合O_i，最終得到數據集S中所有異常點集合O＝{O₁,...,O_m}，異常檢測所涉及的公式有：簇內角度因子為公式(7)：

其中A、B、C是數據集中的數據點，阿表示第個i簇且簇中每個數據點均有d維屬性，是數據點q鄰域內的數據點個數，

局部增量值H(X_j)為公式(8)：

k個最近鄰點的距離和L(X_j)為公式(9)：

其中，表示數據點X_j在其所屬簇中的k個最近鄰點組成的k鄰域；

增強型角度異常因子EAOF(X_j)為公式(10)：

其中，o是數據點X_j所屬簇的簇心，dist(o,X_j)為數據點X_j與其簇心的距離，表示C_i(i＝1,2,…,m)簇內每個數據點相對于該簇的角度因子，H(X_j)是局部增量值；

12)多重驗證：對所有候選異常點進行多次驗證，并將經過有限次驗證仍表現為異常的候選異常點判決為確定異常點并輸出保存，若在驗證過程中表現為正常點，則將該異常點直接丟棄。