[發明專利]基于自注意力雙向長短期記憶網絡的時序數據監測方法

有效

• 申請號: 202010159544.8
• 申請日: 2020-03-10
• 公開（公告）號: CN111352977B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 盧建剛;羅軼凡;陳金水
• 申請（專利權）人: 浙江大學
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06K9/62;G06N3/04;G06N3/08;G06Q50/04
• 代理公司: 浙江杭州金通專利事務所有限公司 33100
• 代理人: 劉曉春

1.一種基于自注意力雙向長短期記憶網絡的時序數據監測方法，其特征在于，所述方法包括：

S1，獲取預設時間段內由待監測生產設備的工況數據構成的時序數據X＝{x₁,x₂…x_t}和對應的數據標簽Y＝{y₁,y₂…y_t}，并將所述時序數據采用數據預處理算法轉化為可以輸入到自注意力雙向長短期記憶網絡模型的標準數據所述數據預處理算法包括PauTa準則法、標準差標準化法與數據劃分法，所述自注意力雙向長短期記憶網絡模型包括雙向長短期記憶網絡、自注意力網絡與分類器網絡；

S2，所述雙向長短期記憶網絡，包括正向長短期記憶網絡與逆向長短期記憶網絡，所述正向長短期記憶網絡的輸入為所述標準數據的正向序列{x′₁,x′₂…x′_k}，所述逆向長短期記憶網絡的輸入為所述標準數據的逆向序列{x′_k,x′_k-1…x′₁}，所述正向序列與所述逆向序列通過雙向長短期記憶網絡轉化為兩個稠密的特征向量，將兩個特征向量進行拼接，得到所述雙向長短期記憶網絡的輸出特征向量；

S3，將所述雙向長短期記憶網絡的輸出特征向量輸入到S1所述的自注意力網絡中，經全連接神經網絡和Softmax層可以計算輸入序列中每個時刻與輸入序列中其他時刻的注意力分數，所述注意力分數的數值范圍在[0,1]之間，數值越大，表明輸入序列中該時刻對最終結果的貢獻越大，將計算得到的所述注意力分數通過矩陣點乘的方式賦權到所述雙向長短期記憶網絡的輸出特征向量上，得到所述自注意力雙向長短期記憶網絡的最終輸出特征向量；

S4，采用所述分類器網絡，將所述自注意力雙向長短期記憶網絡得到的最終輸出特征向量輸入到全連接分類器網絡中，輸出為2維的向量，并經多分類Softmax層輸出得到待預測類別的概率；

S5，獲取非所述預設時間段內由待監測生產設備的工況數據構成的時序數據，采用S1所述的數據預處理算法轉化為可以輸入到自注意力雙向長短期記憶網絡模型中的標準數據，將該批數據輸入到訓練完成的自注意力雙向長短期記憶網絡中，得到模型的預測結果，實現基于自注意力雙向長短期記憶網絡的時序數據監測；

所述步驟S1中獲取的預設時間段內由待監測生產設備的工況數據構成的時序數據，是樣本個數為m、工況字段個數為n的樣本集，建立實驗數據矩陣X＝{x₁,x₂…x_t},每一條工況數據對應的類別為Y＝{y₁,y₂…y_t},y_t∈{0,1}，其中y_t＝0表示正樣本，y_t＝1表示負樣本，其中每相鄰兩條工況數據x_t-1和x_t之間的采樣間隔為固定值Δt；

所述步驟S1中，在將所述時序數據轉化為可以輸入到自注意力雙向長短期記憶網絡模型的標準數據時，依次采用PauTa準則法、標準差標準化法與數據劃分法；

所述PauTa準則法：假設隨機變量x服從正態分布N(μ,σ²)，則依據PauTa準則隨機變量x在區間(μ-3σ,μ+3σ)外的概率為0.0027，則可以認為x產生是小概率事件，因此可以將區間(μ-3σ,μ+3σ)視為隨機變量的真實取值區間；對于超出這個區間實驗數據樣本，將其直接剔除；

所述標準差標準化法：經該種數據標準化方法處理后的變量數據服從均值為0，標準差為1的標準正態分布；

所述數據劃分法：將預處理完成的數據X′＝{x′₁,x′₂…x′_t}以固定時間窗口劃分為批數據大小為k，時間步長為1的可用于模型訓練的批數據集，劃分后的數據集為

所述步驟S3中的自注意力網絡的全連接層神經元節點應與雙向長短期記憶網絡的隱藏層神經元節點個數相同；先將雙向長短期記憶網絡的輸出特征向量輸入3個全連接神經網絡中，得到3個與長短期記憶網絡輸出特征向量維度相同的輸出矩陣分別記為K、Q、V，其中K、Q、V矩陣的維度相同，記為d_k；所述的自注意力分數計算方式為然后再將attention_score以矩陣點乘的方式賦權到長短期記憶網絡的輸出特征向量上。