[發明專利]基于自監督學習多頭注意力網絡的時序數據異常檢測方法

有效

• 申請號: 202211230797.5
• 申請日: 2022-10-10
• 公開（公告）號: CN115309736B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 呂金虎;喬怡群;王田;劉克新;鄭喬露;張鈺雯
• 申請（專利權）人: 北京航空航天大學;中國信息通信研究院;中國科學院數學與系統科學研究院
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2455;G06F16/2458;G06F18/2431;G06F18/214;G06N3/0464;G06N3/0442;G06N3/08;G01D21/02
• 代理公司: 北京天匯航智知識產權代理事務所(普通合伙) 11987
• 代理人: 黃川

本發明涉及工業數據的異常檢測領域，公開了一種基于自監督學習多頭注意力網絡的時序數據異常檢測方法，包括S1：針對多個工業傳感器采集到的所有時序數據，歸一化后得到時序數據x_norm；S2：對時序數據x_norm采用兩種方式增強，得到時序數據x_aug1和x_aug2；S3：通過時序數據對特征提取網絡進行預訓練；S4：對特征提取網絡f_ξ與f_θ，以及網絡g_θ，q_θ和g_ξ進行更新；S5：在預訓練以及網絡更新結束后，進一步增強訓練，完成后將整體網絡應用于異常檢測。通過本發明的檢測方法在預訓練階段已經完成了特征提取的工作，因此在應用于異常檢測任務時，只需要進行較少輪訓練即可以實現較高的檢測精度。

技術領域

本發明涉及工業數據的異常檢測領域，具體涉及一種基于自監督學習多頭注意力網絡的時序數據異常檢測方法。

背景技術

工業互聯網在過去幾年中得到了迅速的發展，比如在智慧工廠、無人物流分揀、協同生產等領域。工業互聯網通過有線和無線傳輸將工業生產設備、工業傳感器、監控設備和智能分析技術等集成到工業生產的不同環節。數據的處理和分析在工業生產過程中顯得尤為重要。很多重要的數據都是由工業傳感器進行捕獲，并為后續的評估和決策提供有價值的信息。通過傳感器數據及時發現系統的異常，對于保障工業生產的安全性和穩定性有重要意義。

工業傳感器所在每一個時刻會采集到多個不同種類的傳感器數據，比如：電流數據、電壓數據、震動數據等，這些數據具有一定的異構性；同時針對單個傳感器而言，所采集的數據是時序的，即，當前采集到的數據往往和該時刻之前的數據存在一定的關聯，因此在時間上具有相關性。基于這樣的特點，有效地提取傳感器采集的時序數據的異常情況對于能夠準確檢測出工業系統的異常至關重要。

針對時序數據的異常檢測可以分為基于傳統的方法和基于深度學習的方法。傳統的異常檢測方法包括時間序列模型，例如自回歸移動平均模型、馬爾科夫模型、卡爾曼濾波等。這些方法在檢測精度上一般不夠高，同時對于異構的長時間序列，難以捕獲序列間存在的時空關系。近些年來隨著深度學習的發展，將機器學習算法應用于異常檢測是當前研究的熱點問題。總體上可以分為有監督學習和無監督學習。有監督學習在訓練網絡時需要所有的樣本都含有標簽，同時需要較多輪次的學習網絡才能取得比較好的效果。無監督學習常用的方法包括長短期記憶網絡（Long Short-Term Memory, LSTM），自編碼器（Autoencoder, AE）和對抗生成網絡（Generative Adversarial Net, GAN）。基于LSTM網絡往往需要先在正常數據集上做預測任務，隨后在實際數據集中通過閾值來判斷是否異常，異常檢測的精度一定程度上依賴于閾值的選定。基于AE和GAN的異常檢測方法一般需要對原始數據進行重構，這往往比較消耗計算資源且是非必要的。

發明內容

針對現有技術中的上述缺陷，本發明提出了一種基于自監督學習的多頭注意力網絡模型（Multi-head attention self-supervised, MAS），即，基于MAS網絡模型的時序數據異常檢測，具體是針對工業傳感器數據，基于多頭注意力機制的神經網絡，引入自監督學習的策略進行網絡的預訓練并應用于工業傳感器時序數據的異常檢測中。在預訓練結束后，僅需少量的訓練資源，就可以取得很高的異常檢測精度。