[發明專利]基于矩陣素描和哈希學習的流數據異常檢測方法及其系統

在審

• 申請號: 202110294407.X
• 申請日: 2021-03-19
• 公開（公告）號: CN113098848A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 王茜竹;吳培
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L12/24;G06F16/22;G06F16/2455;G06F16/2458
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 盧勝斌

1.一種基于矩陣素描和哈希學習的流數據異常檢測方法，其特征在于，包括：

S1：獲取原始數據源；所述原始數據源包括用戶產生的上網日志數據、工業傳感器數據以及其他領域數據；

S2：對獲取的原始數據源進行預處理；

S3：隨機選取部分預處理后的數據進行矩陣素描，生成零均值素描矩陣；根據零均值素描矩陣生成哈希投影矩陣和特征哈希表；

S4：獲取當前時刻待檢測數據，對新獲取待檢測數據進行預處理；采用哈希投影矩陣對預處理后的新數據進行處理，生成當前時刻待測數據塊的哈希表；

S5：將當前時刻待測數據塊的哈希表與特征哈希表進行K近鄰查詢；

S6：采用異常分計算模型對進行K近鄰查詢的待測數據進行異常分計算，得到待檢測數據的異常分；

S7：判斷待檢測數據的異常分是否大于上一時刻更新的異常閾值，若大于上一時刻更新的異常閾值，則該檢測數據為異常流數據，否則正常數據；

S8：將正常數據帶入到步驟S3生成的素描矩陣中，重新訓練樣本，更新模型。

2.根據權利要求1所述的一種基于矩陣素描和哈希學習的流數據異常檢測方法，其特征在于，對數據源進行預處理的過程包括：對原始數據源進行缺失值處理和歸一化處理；對經過歸一化處理的數據進行零均值處理；進行零均值處理的具體過程包括計算當前數據塊的均值向量，對當前數據塊進行零均值處理；將該均值向量、歷史累積均值及累積數據規模大小生成虛擬樣本數據；將該樣本添加在數據塊后面，生成新的數據矩陣。

3.根據權利要求1所述的一種基于矩陣素描和哈希學習的流數據異常檢測方法，其特征在于，生成零均值素描矩陣的過程包括：采用SVD奇異值分解算法對新的數據矩陣進行奇異值分解，得到奇異值；根據得到的奇異值對新的數據矩陣進行矩陣素描，得到零均值素描矩陣。

4.根據權利要求1所述的一種基于矩陣素描和哈希學習的流數據異常檢測方法，其特征在于，根據零均值素描矩陣生成哈希投影矩陣和特征哈希表的過程包括：提取素描矩陣的特征向量，根據特征向量構建哈希投影矩陣；采用哈希投影矩陣對零均值素描矩陣進行在線哈希映射，生成正常數據的特征哈希表。

5.根據權利要求1所述的一種基于矩陣素描和哈希學習的流數據異常檢測方法，其特征在于，采用哈希投影矩陣對預處理后的新數據進行處理過程包括：采用基于素描矩陣生成的哈希投影矩陣對待檢測的數據矩陣進行在線哈希映射，生成待測數據數據矩陣的特征哈希表。

6.根據權利要求1所述的一種基于矩陣素描和哈希學習的流數據異常檢測方法，其特征在于，將當前時刻待測數據塊的哈希表與特征哈希表進行K近鄰查詢的具體過程包括：采用基于局部敏感哈希的方法將素描矩陣特征哈希表和待測數據的特征哈希表中每條數據的哈希編碼截成幾段長度相同的哈希編碼；計算各個哈希編碼的漢明距離，并對各個漢明距離進行比較；查詢特征哈希表中與待測數據哈希編碼距離最近的K個特征哈希表中的正常數據。

7.根據權利要求1所述的一種基于矩陣素描和哈希學習的流數據異常檢測方法，其特征在于，采用異常分計算模型對待測數據進行異常分計算的過程包括：根據查找出的待測數據的K個最近鄰相似數據，根據異或求出相同位置上編碼的不同位置個數求出待測數據與K個近鄰數據間漢明距離的平均值作為異常分。

8.根據權利要求1所述的一種基于矩陣素描和哈希學習的流數據異常檢測方法，其特征在于，對異常閾值進行更新的過程包括：將當前時刻檢測出的異常數據矩陣進行SVD分解，得到奇異值矩陣，并選出奇異值矩陣中最大的奇異值；根據該奇異值和上一時刻所求異常數據奇異值進行增量求解，根據增量比例對異常閾值進行更新。