[發明專利]一種基于增強型角度異常因子的數據流異常檢測及多重驗證的方法

有效

• 申請號: 201710823063.0
• 申請日: 2017-09-13
• 公開（公告）號: CN107682319B
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 首照宇;田浩;鄒風波;張彤;程夏威;文輝;趙暉;莫建文;汪延國;曾情;李希成
• 申請（專利權）人: 桂林電子科技大學;桂林宇輝信息科技有限責任公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06F16/2458;G06F16/906
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 劉梅芳

公開了一種基于增強型角度異常因子的數據流異常檢測及多重驗證的方法，其特征是，包括如下步驟：1)對實時數據流進行處理；2)設置滑動窗口中數據集S；3)初始化參數k、r、ξ；4)獲取距離矩陣dist；5)得到r鄰域點集合；6)得到r鄰域點集合的角度因子和局部密度7)獲取相異度；8)獲取各數據點的簇心因子；9)獲取歸屬矩陣；10)確定簇心并聚類；11)對聚類后的各簇分別進行異常檢測；12)多重驗證。這種方法運用了滑動窗口和基本窗口技術，構造了高效的數據流處理模型，降低了內存的占用率、實時性好、異常檢測準確率高、時間復雜度低。

技術領域

本發明涉及數據流異常檢測和數據聚類，尤其涉及一種基于增強型角度異常因子的數據流異常檢測及多重驗證的方法。

背景技術

網絡技術的飛速發展和社會信息化的不斷提高，引發了信息量的爆炸式增長，使得各行各業產生了海量、高速、動態的流數據，如網絡入侵監測、商業交易管理和分析、視頻監控、傳感網絡監控等。由于動態數據流的實時無限等特點，傳統的靜態數據異常檢測方法已不能準確有效的分析和處理如此大規模動態增長的流數據，因此構建一種適用于數據流的實時有效異常檢測方法變得尤其重要。

針對不同階段面臨的實際問題，科技工作者提出了不同的數據流異常檢測方法。現有的數據流異常檢測方法大致可分為基于密度的數據流異常檢測方法、基于角度的數據流異常檢測方法、基于聚類的數據流異常檢測方法。基于密度的數據流異常檢測方法運用密度作為最基本的異常度量方式，并構造出能動態更新的用于度量數據異常程度的異常因子，Pokrajac等人將靜態數據異常檢測方法LOF引用到數據流中，研究出一種能運用到動態數據流中的增量式局部異常檢測方法INCLOF，隨著新數據的插入，INCLOF刪除歷史數據并動態更新各數據點的異常因子；Ke Gao等人對INCLOF方法進行了改進，引入滑動窗口的思想，提出了n-INCLOF方法，n-INCLOF方法僅更新當前時刻滑動窗口內各數據對象的異常因子；在有些情況下，有的數據點在某一時刻表現為異常，但在下一時刻并不表現異常，基于這個問題，Karimian S H等人提出了I-IncLOF方法，I-IncLOF方法引入了多重驗證的思想，I-IncLOF方法將那些在窗口的整個滑動過程中始終表現為異常的數據對象判定為確定異常點，I-IncLOF方法大大降低了誤判率，但I-IncLOF方法在多維情況下有效性較差；XinjieLu等人提出了INCLOCI方法，INCLOCI引入多粒度異常因子MDEF，INCLOCI方法不僅能檢測出分散的異常點，而且能檢測出異常簇。為了解決距離、密度等相似度度量方式在高維數據空間中有效性降低的問題，一些科研工作者提出了角度的度量方式，角度的相似度度量的基本思想就是異常點與其它點所成的角度普遍偏小且波動范圍小、常規點與其它點所成的角度有大有小且波動范圍大，HP Kriegel等人提出了基于角度的異常檢測方法ABOD，ABOD方法將角度的方差作為度量數據點異常程度的異常因子ABOF，ABOD方法在高維空間中仍然有很高的檢測準確率；Ye H提出了基于角度的數據流異常檢測方法DSABOD，隨著數據流數據點不斷流入內存，DSABOD方法動態更新每個數據點相對于其鄰域點的異常因子，DSABOD方法為高維數據流中的異常檢測提出了一種新的思路，但傳統的基于角度的數據流異常檢測方法存在異常檢測率較低的問題。基于聚類的數據流異常檢測方法分為對數據點進行聚類和對每個簇中數據點進行異常檢測這兩個階段，Elahi M等人提出了一種基于聚類的數據流異常檢測方法，將K-Means和LOF相結合的方法，該方法分區域定義異常因子，提高了方法對異常檢測的準確率；Thakran Y等人又提出了將DBSCAN方法與W-K-Means方法相結合的方法，該方法對當前時刻的數據塊運用DBSCAN方法進行聚類并得到候選異常點和初始簇，該方法結合前一時刻得到的待多重驗證的候選異常點,運用W-K-Means方法再次進行聚類，得到當前時刻的候選異常點和常規點簇，同時該方法對候選異常點采用多重驗證刪除誤判的異常點釋放內存，該方法在整個過程中動態調整DBSCAN方法所需要的參量MinPts、Epsilon、W-K-Means方法的屬性權重，該方法對異常檢測的準確度較高，但需要的人為設定參量過多，人工干預嚴重，方法的復雜度較高，且該方法在多維空間中的有效性較差。