[發明專利]基于自編碼器的數據異常識別方法、裝置和計算機設備

有效

• 申請號: 202011242143.5
• 申請日: 2020-11-09
• 公開（公告）號: CN112329865B
• 公開（公告）日: 2023-09-08
• 發明（設計）人: 鄧悅;鄭立穎;徐亮
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06N3/0455;G06N3/044;G06N3/08
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝;宋慶洪

本申請涉及人工智能技術領域，提供一種基于自編碼器的數據異常識別方法、裝置、計算機設備和存儲介質，其中方法包括：接收輸入的待檢測的時間序列；基于所述時間序列，按照預設規則對預生成的指定數量的稀疏連接的自編碼器進行集成訓練處理，生成對應的自編碼器集成框架；通過自編碼器集成框架計算出時間序列中包含的每一個向量所對應的異常分數值；根據異常分數值，識別出時間序列中是否存在異常數據值。通過本申請能夠準確地識別出時間序列中是否存在異常數據值，有效地提高了對于時間序列中的異常數據值的識別準確性。本申請還涉及區塊鏈領域，其中，所述自編碼器集成框架可存儲于區塊鏈中。

技術領域

本申請涉及人工智能技術領域，具體涉及一種基于自編碼器的數據異常識別方法、裝置和計算機設備。

背景技術

伴隨著大數據時代的到來，云計算、物聯網等各種新興的主題應運而生，其中，從海量數據中挖掘出人們最終需要的潛在數據變得越來越重要。傳統的數據挖掘主要關注的是內含大量數據的數據模型，而對異常數據的檢測關注較少。其實，分析和挖掘有用的數據固然重要，但出現重要數據偏差的異常值中也包含大量有用的信息，可以對數據造成影響，使數據變得畸形，從而無法得到正確的結果，因此對于異常數據的檢測同樣也不可忽略。

現有技術中，目前的異常檢測方法大多建立在統計學的基礎上，主要包括基于偏離的方法、基于指定推薦分數值分布的方法、基于距離的方法和基于密度的方法等，但這些類型的方法需要事先知道數據的分布，此外，基于統計的異常檢測算法大多只適合于挖掘單變量的數值型數據，對于時間序列數據并不適用，如果直接應用于時間序列數據上效果會不太理想，且對于異常數據的識別準確性低。

發明內容

本申請的主要目的為提供一種基于自編碼器的數據異常識別方法、裝置、計算機設備和存儲介質，旨在解決現有的異常檢測方法的對于時間序列數據并不適用，如果直接應用于時間序列數據上效果會不太理想，且對于異常數據的識別準確性低的技術問題。

本申請提出一種基于自編碼器的數據異常識別方法，所述方法包括步驟：

接收輸入的待檢測的時間序列；

基于所述時間序列，按照預設規則對預生成的指定數量的稀疏連接的自編碼器進行集成訓練處理，生成對應的自編碼器集成框架，其中，所述稀疏連接的自編碼器是通過分別對指定數量的基于循環神經網絡的自編碼器進行單元連接刪除處理后生成的；

通過所述自編碼器集成框架計算出所述時間序列中包含的每一個向量所對應的異常分數值；

根據所述異常分數值，識別出所述時間序列中是否存在異常數據值。

可選地，所述基于所述時間序列，按照預設規則對預生成的指定數量的稀疏連接的自編碼器進行集成訓練處理，生成對應的自編碼器集成框架的步驟，包括：

獲取所述時間序列包含的所有第一向量；以及，

獲取各所述稀疏連接的自編碼器基于各所述第一向量生成的一一對應的第一重構向量；

基于所述第一向量與所述第一重構向量，生成對應的第一目標函數；

基于所述第一目標函數分別對每一個所述稀疏連接的自編碼器進行訓練，得到訓練完成的第一自編碼器，其中，所述第一自編碼器的數量與所述稀疏連接的自編碼器的數量相同；

對所有所述第一自編碼器進行集成處理，生成對應的獨立框架，其中，所述獨立框架內包含有指定數量的所述第一自編碼器，且各所述第一自編碼器之間不產生交互；

將所述獨立框架確定為所述自編碼器集成框架。

可選地，所述基于所述時間序列，按照預設規則對預生成的指定數量的稀疏連接的自編碼器進行集成訓練處理，生成對應的自編碼器集成框架的步驟，包括：

獲取預設的共享層，其中，所述共享層包括共享隱藏狀態；