[發明專利]一種大數據流中的基于最近鄰的時間敏感性異常檢測方法

有效

• 申請號: 201910035916.3
• 申請日: 2019-01-15
• 公開（公告）號: CN109871870B
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 吳廣君;賈思宇;張磊;趙志慧;李軍
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 余長江

1.一種大數據流中的基于最近鄰的時間敏感性異常檢測方法，其步驟包括：

根據大數據流中數據的維度確定數組參數K和L和閾值參數α和β，創建一個L行2^K列的二維數組DW_W，數組的每一項是一個確定波窗口，初始化生成KL個隨機向量w_ij，用于構建算法中的L個哈希函數；

對到來的大數據流中的數據，利用上述哈希函數將數據哈希到哈希表即2^KL個確定波窗口內，每個哈希函數對應一行；

計算對應確定波窗口的計數估計c，進而計算上述算法開始至當前的計數估計的平均值μ，如果cαμ，則判定為數據異常；

估計確定波窗口多個隨機時間區間的計數c₁,c₂,…,c_w，得到方差δ，進而計算上述算法開始至當前的所有確定波窗口方差的平均值δ'，如果δβδ'，則判定為數據異常。

2.如權利要求1所述的方法，其特征在于，所述哈希函數采用隨機投影簽名技術，初始化隨機生成的隨機向量w_ij～N(0,1),i∈[1,L],j∈[1,K]。

3.如權利要求2所述的方法，其特征在于，所述L個哈希函數為H_i(x)＝[h_i1(x)；h_i2(x)；…；h_iK(x)],i∈[1,L]；對于隨機向量w_ij，有sign()為隨機投影簽名函數，

4.如權利要求3所述的方法，其特征在于，利用所述哈希函數將數據哈希到確定波窗口內的方法為：每個哈希函數對應哈希表的一行即2^K個確定波窗口，經過L次哈希即K×L次隨機投影簽名計算得到L個K位二進制哈希結果，每一個行對應位置的確定波窗口DW_W[i][H_i(x)]插入數據。

5.如權利要求4所述的方法，其特征在于，所述計數估計

6.如權利要求1所述的方法，其特征在于，所述計數估計的平均值n是已經處理的大數據流中的數據數目。

7.如權利要求1所述的方法，其特征在于，所述所有確定波窗口方差的平均值n是已經處理的大數據流中的數據數目。

8.一種大數據流中的基于最近鄰的時間敏感性異常檢測系統，包括存儲器和處理器，所述存儲器存儲計算機程序，所述程序被配置為由所述處理器執行，所述程序包括用于執行上述權利要求1至7任一所述的方法中各步驟的指令。

9.一種存儲計算機程序的計算機可讀存儲介質，所述計算機程序包括指令，所述指令當由服務器的處理器執行時使得所述服務器執行上述權利要求1至7任一所述的方法中的各個步驟。