[發明專利]一種稀疏編碼下的基于HTM的流數據異常檢測方法及系統

在審

• 申請號: 202010219470.2
• 申請日: 2020-03-25
• 公開（公告）號: CN111447217A
• 公開（公告）日: 2020-07-24
• 發明（設計）人: 高未澤;田瑤琳;陳善雄;莫伯峰;趙富佳;王定旺
• 申請（專利權）人: 西南大學;首都師范大學
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 濟南鼎信專利商標代理事務所(普通合伙) 37245
• 代理人: 劉海艷

1.一種稀疏編碼下的基于HTM的流數據異常檢測方法，其特征在于，包括以下步驟：

步驟一，獲取數據源，其中數據源包括用戶產生的各種域和應用程序的數據；

步驟二，將獲取的實時數據源輸入編碼器，將數據轉換為二進制矢量；

步驟三，將已轉換的數據進行稀疏化處理，獲取數據的稀疏分布式代表元；

步驟四，將數據輸入標準的HTM網絡，依據上一時刻輸入數據獲得對本時刻輸入數據的預測值；

步驟五，將本時刻的實際輸入值和上一時刻生成的預測值進行比較，獲取異常分數；

步驟六，使用HTM模型并依據異常分數的分布建模，計算異常似然值；

步驟七，判斷異常似然值是否大于預設的異常閾值，決定是否聲明異常。

2.根據權利要求1所述的稀疏編碼下的基于HTM的流數據異常檢測方法，其特征在于，步驟一中，獲取的數據集必須是來自于應用過程中產生的現實流數據。

3.根據權利要求1所述的稀疏編碼下的基于HTM的流數據異常檢測方法，其特征在于，步驟二中，將獲取到的數據源經編碼器實時生成二進制矢量；編碼需滿足語義相似數據應生成有重疊的激活位點，相同輸入總產生固定長度的二進制向量；其次，輸出的二進制向量應有相同維度，即位點總數應相同。

4.根據權利要求1所述的稀疏編碼下的基于HTM的流數據異常檢測方法，其特征在于，步驟三中，將通過編碼器編碼的數據進行稀疏化，提取數據的空間特征，其具體包括：確定標準感受野，即確保HTM模型使用時每個單元柱只讀取一部分數據，確定標準感受野后確定可與單元柱進行連接的數據，最后進行局部抑制與參數更新，維持數據稀疏的活性。

5.根據權利要求1所述的稀疏編碼下的基于HTM的流數據異常檢測方法，其特征在于，步驟四中，在上一時刻即需生成對本時刻輸入的預測，其具體包括：調用層級時序記憶算法，設定模型參數，生成預測數據。

6.根據權利要求1所述的稀疏編碼下的基于HTM的流數據異常檢測方法，其特征在于，步驟五中，調用異常分數函數得到異常分數；

步驟六中，根據異常分數分布，調用異常似然值計算模塊，獲取異常似然值；

步驟七中，根據得到的異常似然值，調用異常判斷模塊，判斷當前系統是否處于異常狀態，若異常似然值大于預設異常閾值則判斷為發生異常；若小于，則判斷為未發生異常。

7.一種應用權利要求1～6任一項所述稀疏編碼下的基于HTM的流數據異常檢測方法的檢測系統，其特征在于，所述檢測系統包括：

數據采集及預處理單元，用于采集各種域和應用的流數據并進行預處理；

稀疏編碼單元，用于將預處理后的數據進行稀疏化，使得HTM模型可以在幾乎無干擾的情況下同時表示不同項目，同時仍然保持相應的信息保持能力；

異常判斷單元，用于使用HTM算法對采集的數據實時處理，判斷是否發生異常。

8.根據權利要求7所述的檢測系統，其特征在于，所述數據采集及預處理單元進一步包括：

數據采集模塊，用于采集用戶在各個域和應用中產生的實時流數據；

數據預處理模塊，用于將獲取到的數據轉換為二進制向量，為異常判斷單元提供條件。

9.根據權利要求7所述的檢測系統，其特征在于，所述的稀疏編碼單元進一步包括：

標準感受野模塊，用于確定HTM模型中活性單元柱需要確定讀取輸入數據的范圍；

局部抑制模塊，用于選取被HTM模型中被激活的單元柱，以及該單元柱相鄰單元柱活性的抑制，進一步提升輸入數據稀疏性；

參數更新模塊，用于加強活性更高的已讀取數據的單元柱，懲罰活性低的單元柱，確保數據實時稀疏性表示。

10.根據權利要求7所述的檢測系統，其特征在于，所述異常判斷單元進一步包括：

輸入數據構建模塊，用于設定構建HTM算法與計算異常似然值中的參數值，構建HTM算法模型；

異常分數計算模塊，用于計算預測輸入值與實際輸入數據之間的異常分數；

異常判斷模塊，用于調用異常似然值函數，計算異常似然值，并判斷是否出現異常；

預測值生成模塊，用于生成對下一時刻輸入數據的預測值；

數據對比模塊，用于對比本時刻的真實輸入值和對本時刻的預測輸入值。