[發(fā)明專利]一種注意力機制與LSTM結(jié)合檢測時序數(shù)據(jù)異常方法及終端機

有效

• 申請?zhí)枺?/td>: 202211203293.4
• 申請日: 2022-09-29
• 公開（公告）號: CN115983087B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計）人: 劉慧;姜凱;阮懷軍;趙佳;周蕊;梁慧玲
• 申請（專利權(quán)）人: 山東財經(jīng)大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06F17/16;G06N3/0442;G06N3/049;G06N3/0455;G06N3/08
• 代理公司: 山東舜源聯(lián)合知識產(chǎn)權(quán)代理有限公司 37359
• 代理人: 張亮

本發(fā)明提供一種注意力機制與LSTM結(jié)合檢測時序數(shù)據(jù)異常方法及終端機，將輸入數(shù)據(jù)X加入自編碼器；引入注意力機制對輸入數(shù)據(jù)X進行處理；使用重構(gòu)誤差計算輸入數(shù)據(jù)X的異常狀態(tài)；通過ALAE模型對輸入數(shù)據(jù)進行預(yù)測，檢測偏離正常值的數(shù)據(jù)；模型計算每一個傳感器的單獨異常分數(shù)，組合成每個時間點的異常分數(shù)，通過異常分數(shù)界定每個時間點是否出現(xiàn)異常數(shù)據(jù)。本發(fā)明使用了自編碼器框架，通過使用注意力機制與長短期遞歸神經(jīng)網(wǎng)絡(luò)相結(jié)合作為編碼器和解碼器的組成模塊，來捕獲序列的時間依賴性；同時，加入注意力機制后，在數(shù)據(jù)維度較高時仍具有較高的學習能力，彌補了在維度過高時學習能力下降的問題。

背景技術(shù)

時間序列數(shù)據(jù)從定義來說是一組具有時間特征的數(shù)據(jù)序列，通過時間維度將孤立的數(shù)據(jù)值連接起來，從而揭示了計算機軟硬件的狀態(tài)變化，包含更多有價值的信息。在水電站運行過程中，會產(chǎn)生帶有時間特征的數(shù)據(jù)的各式各樣的傳感器時在受到外部環(huán)境的干擾下很容易產(chǎn)生異常。據(jù)調(diào)查顯示，水電站等設(shè)備或者是大型互聯(lián)網(wǎng)公司服務(wù)器產(chǎn)生停工，每秒都會造成巨大的損失。因此有效的識別和診斷出異常值是非常具有實際意義的，可以及時發(fā)現(xiàn)異常數(shù)據(jù)值產(chǎn)生預(yù)警，方便管理人員采取措施解決潛在的問題。

一般所認為的水電站運行數(shù)據(jù)異常值是與其他數(shù)據(jù)顯著偏移的值，而在時序數(shù)據(jù)中由于數(shù)據(jù)隨時間進行變化，新的一段時間內(nèi)的數(shù)據(jù)由于變化巨大可能在過去的時間內(nèi)被認為是異常數(shù)據(jù)。因此在時序數(shù)據(jù)中的異常通常被定義為不符合明確定義的正常行為模式的數(shù)據(jù)。伴隨著數(shù)據(jù)維度的增加和數(shù)據(jù)量的增大，時序數(shù)據(jù)的異常很難通過肉眼觀察出來，因此對于水電站時序數(shù)據(jù)的異常檢測工作使一個非常重要且困難的問題。

傳統(tǒng)方法對于水電站異常數(shù)據(jù)的檢測通常有以下幾種：基于統(tǒng)計的模型，如基于3sigma準則的異常檢測算法，通過歷史數(shù)據(jù)的分布來確定目標檢測數(shù)據(jù)的合理波動范圍；基于聚類的模型，如K-means算法，通過將正常數(shù)據(jù)進行聚類從而找到異常值與正常值的界進行判斷；基于分類的異常檢測算法，如OC-SVM，通過找到正常值與異常值之間的超平面進行判斷。當數(shù)據(jù)量小且維度較低時，這些方法均表現(xiàn)出了較好的性能。但是隨著數(shù)據(jù)量的快速膨脹，以及維度的不斷攀升，這些方法已經(jīng)不能夠滿足水電站異常數(shù)據(jù)的檢測。

隨著算力的提升，各種深度學習模型層出不窮，在數(shù)據(jù)挖掘中有著出色的表現(xiàn)。深度學習在多元數(shù)據(jù)的異常檢測中主要可以分為有監(jiān)督方法和無監(jiān)督方法。有監(jiān)督方法相較于無監(jiān)督方法在性能上有所提高，但是有監(jiān)督方法需要大量可用的標記訓練樣本，而真實世界的數(shù)據(jù)中，異常樣本的數(shù)量遠小于正常樣本，因此無監(jiān)督方法在實際應(yīng)用中更加實用。在無監(jiān)督方法中，基于預(yù)測或者重構(gòu)數(shù)據(jù)的方法比較常用，通過對數(shù)據(jù)進行預(yù)測和重構(gòu)，然后由重構(gòu)誤差來進行異常評分，進而對異常分數(shù)判斷數(shù)據(jù)是否異常；改進此類方法則是通過挖掘數(shù)據(jù)特征之間的關(guān)系對數(shù)據(jù)進行預(yù)測，進而增強深度學習模型在數(shù)據(jù)維度過高時的學習能力，提高多元數(shù)據(jù)預(yù)測的準確性，進而提升模型的性能。僅使用深度學習模型進行預(yù)測或者重構(gòu)的方法在數(shù)據(jù)維度逐漸增大時性能會逐漸下降，因此在使用預(yù)測或者重構(gòu)的思想解決此問題時，必須考慮多維度之間可能存在的相互關(guān)系對結(jié)果產(chǎn)生的影響。

而數(shù)據(jù)維度是限制多元時間序列數(shù)據(jù)的異常檢測性能的一大關(guān)鍵因素，在數(shù)據(jù)維度不斷攀升時，現(xiàn)有的無監(jiān)督異常檢測方法表現(xiàn)出學習能力不足，不能完全捕獲多個變量之間潛在的復雜關(guān)系，導致異常檢測效果不佳。

發(fā)明內(nèi)容

為了克服上述現(xiàn)有技術(shù)中的不足，本發(fā)明提供一種注意力機制與LSTM結(jié)合檢測時序數(shù)據(jù)異常方法，方法基于LSTM的自動編碼器能夠?qū)W習較長序列的特征信息，注意力網(wǎng)絡(luò)彌補了在維度過高時學習能力下降的問題。

注意力機制與LSTM結(jié)合檢測時序數(shù)據(jù)異常方法包括：

步驟1：將輸入數(shù)據(jù)X加入自編碼器；

(11)將輸入數(shù)據(jù)X映射到自編碼器模型結(jié)構(gòu)的變量中，然后將潛在空間中的序列進行重建；

(12)對輸入數(shù)據(jù)X進行壓縮編碼，將高維的輸入數(shù)據(jù)X用低維的向量進行表示，使得壓縮后的低維向量能夠保留輸入數(shù)據(jù)X的典型特征；