[發(fā)明專利]一種注意力機(jī)制與LSTM結(jié)合檢測(cè)時(shí)序數(shù)據(jù)異常方法及終端機(jī)

有效

• 申請(qǐng)?zhí)枺?/td>: 202211203293.4
• 申請(qǐng)日: 2022-09-29
• 公開（公告）號(hào): CN115983087B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計(jì)）人: 劉慧;姜?jiǎng)P;阮懷軍;趙佳;周蕊;梁慧玲
• 申請(qǐng)（專利權(quán)）人: 山東財(cái)經(jīng)大學(xué)
• 主分類號(hào): G06F30/27
• 分類號(hào): G06F30/27;G06F17/16;G06N3/0442;G06N3/049;G06N3/0455;G06N3/08
• 代理公司: 山東舜源聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 37359
• 代理人: 張亮

1.一種注意力機(jī)制與LSTM結(jié)合檢測(cè)時(shí)序數(shù)據(jù)異常方法，其特征在于，方法包括：

步驟1：將輸入數(shù)據(jù)X加入自編碼器；

(11)將輸入數(shù)據(jù)X映射到自編碼器模型結(jié)構(gòu)的變量中，然后將潛在空間中的序列進(jìn)行重建；

(12)對(duì)輸入數(shù)據(jù)X進(jìn)行壓縮編碼，將高維的輸入數(shù)據(jù)X用低維的向量進(jìn)行表示，使得壓縮后的低維向量能夠保留輸入數(shù)據(jù)X的典型特征；

(13)通過(guò)訓(xùn)練減小輸入數(shù)據(jù)X和重建數(shù)據(jù)X'之間的重建誤差；

(14)將輸入數(shù)據(jù)X進(jìn)行壓縮復(fù)原，并提取關(guān)鍵特征，使壓縮復(fù)原出的數(shù)據(jù)接近于真實(shí)的數(shù)據(jù)；

步驟2：引入注意力機(jī)制對(duì)輸入數(shù)據(jù)X進(jìn)行處理；

步驟3：使用重構(gòu)誤差計(jì)算輸入數(shù)據(jù)X的異常狀態(tài)；

通過(guò)ALAE模型對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)測(cè)，檢測(cè)偏離正常值的數(shù)據(jù)；

模型計(jì)算每一個(gè)傳感器的單獨(dú)異常分?jǐn)?shù)，組合成每個(gè)時(shí)間點(diǎn)的異常分?jǐn)?shù)，通過(guò)異常分?jǐn)?shù)界定每個(gè)時(shí)間點(diǎn)是否出現(xiàn)異常數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的注意力機(jī)制與LSTM結(jié)合檢測(cè)時(shí)序數(shù)據(jù)異常方法，其特征在于，

步驟一還包括：

將輸入數(shù)據(jù)X輸入到遺忘門生成向量f_t，向量f_t在0到1之間，其中1表示完全保留，0表示完全忘記；

f_t＝σ₁(W_f·[h_t-1，x_t]+b_f)

將輸入數(shù)據(jù)X輸入到輸入門，輸入門中的向量i_t由上一個(gè)細(xì)胞的隱藏向量h_t-1和當(dāng)前輸入的x_t生成，生成方式如下公式：

i_t＝σ₃(W_i·[h_t-1，x_t]+b_i)

表示單元狀態(tài)的更新，使用tanh作為激活函數(shù)，

遺忘門和輸入門向量共同決定當(dāng)前細(xì)胞的單元狀態(tài)C_t，

通過(guò)下式計(jì)算細(xì)胞的單元輸出o_t，隱變量的輸出由當(dāng)前細(xì)胞的狀態(tài)決定；

o_t＝σ₃(W_o[h_t-1,x_t]+b_o)

h_t＝o_t*tanh(C_t)

經(jīng)LSTM處理后，編解碼過(guò)程表示為：

其中和b為解碼器中的權(quán)重矩陣和偏置量，y_t為潛在空間中的向量；

和b'為解碼器中的權(quán)重矩陣和偏置量，為模型重構(gòu)出的當(dāng)前時(shí)間戳的數(shù)據(jù)值。

3.根據(jù)權(quán)利要求1所述的注意力機(jī)制與LSTM結(jié)合檢測(cè)時(shí)序數(shù)據(jù)異常方法，其特征在于，

步驟2還包括：

定義上一時(shí)間點(diǎn)輸入數(shù)據(jù)X的狀態(tài)h＝{h₁,h₂,...,h_t-1}，從h中提取了前后時(shí)間點(diǎn)向量v_t；

v_t是h中每個(gè)列h_i的加權(quán)總和，v_t表示與當(dāng)前時(shí)間步驟相關(guān)的信息；

設(shè)評(píng)分函數(shù)為f:R^m*R^m→R，計(jì)算其輸入向量之間的相關(guān)性；

前后時(shí)間點(diǎn)向量v_t計(jì)算為：

使用多頭注意力機(jī)制來(lái)對(duì)高維序列數(shù)據(jù)的學(xué)習(xí)能力，最終輸出為：

MultiHead(Q,K,V)＝Concat(head₁,...,head_h)W

h為總注意力頭數(shù)，每個(gè)注意力頭定義為：

head_i＝Attention(QW_i^Q,KW_i^K,VW_i^V)

其中投影是參數(shù)矩陣