[發明專利]基于自注意力雙向長短期記憶網絡的時序數據監測方法

有效

• 申請號: 202010159544.8
• 申請日: 2020-03-10
• 公開（公告）號: CN111352977B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 盧建剛;羅軼凡;陳金水
• 申請（專利權）人: 浙江大學
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06K9/62;G06N3/04;G06N3/08;G06Q50/04
• 代理公司: 浙江杭州金通專利事務所有限公司 33100
• 代理人: 劉曉春

本發明提供了一種基于自注意力雙向長短期記憶網絡的時序數據監測方法，包括：S1，獲取預設時間段內待監測設備的時序數據，并采用數據預處理算法轉化為可輸入自注意力雙向長短期記憶網絡模型的標準數據；S2，將處理后數據輸入雙向長短期記憶網絡，將輸入序列轉化為兩個特征向量，拼接得到輸出特征向量；S3，S2中的輸出特征向量經自注意力網絡得到各時刻的注意力分數，將該分數賦權到輸出特征向量上，得到最終的輸出特征向量；S4，最終的輸出特征向量經全連接分類器網絡得到預測概率；S5，獲取非預設時間段內待監測設備的時序數據并轉化為標準數據，輸入到訓練完成的模型中，得到預測結果，實現基于自注意力雙向長短期記憶網絡的時序數據監測。

技術領域

本發明涉及工業時間序列處理和工業大數據應用領域，具體來說是一種基于自注意力雙向長短期記憶網絡的時序數據監測方法。

背景技術

目前，對于工業領域時序數據建模策略主要可以分為兩大類，第一類為機理建模，主要利用物理或化學機理進行理論分析和研究，建立機理模型。第二類主要以傳感器采集的實時工況數據建立數據驅動模型，建模目標在于建立從以工況參數為主要變量，其他環境因素為輔助變量到相關目標預測的函數關系。

對比機理建模的思路，基于數據驅動建模的方法弱化了對復雜機理模型的研究，在充足數據的前提下，即使對某些很難建立機理模型的復雜系統，數據驅動模型也能夠取得非常好的效果。先進控制系統的發展和普及，使得復雜系統能夠記錄各種工況下的大量數據，一定程度上也為數據驅動建模發展打下了堅實的基礎，基于統計學習的數據驅動建模方法已經應用于化工、控制、計算機等多個領域。

但是對于統計學習模型而言，其捕捉特征的維度僅是數據的輸入特征維度，而對于時間序列數據，隨著時間變化而導致數據狀態的變化是非常明顯的，在時間維度上前后存在關聯，統計學習模型對此無能為力。因此，可以利用深度學習中的時間序列模型對當前存在的算法做進一步的改進，充分利用數據中的時序信息提高檢測精度。

發明內容

針對現有工業時序數據模型存在的上述問題，本發明提供了一種基于自注意力雙向長短期記憶網絡的時序數據監測方法，對工業時序工況數據建立深度時序學習模型，提高了檢測精度。

為此，本發明采用如下解決方案：

S1，獲取預設時間段內由待監測生產設備的工況數據構成的時序數據X＝{x₁，x₂…x_t}和對應的數據標簽Y＝{y₁，y₂…y_t}，并將所述時序數據采用數據預處理算法轉化為可以輸入到自注意力雙向長短期記憶網絡模型的標準數據所述數據預處理算法包括PauTa準則法、標準差標準化法與數據劃分法，所述自注意力雙向長短期記憶網絡模型包括雙向長短期記憶網絡、自注意力網絡與分類器網絡；

S2，所述雙向長短期記憶網絡，包括正向長短期記憶網絡與逆向長短期記憶網絡，所述正向長短期記憶網絡的輸入為所述標準數據的正向序列{x′₁，x′₂…x′_k}，所述逆向長短期記憶網絡的輸入為所述標準數據的逆向序列{x′_k，x′_k-1…x′₁}，所述正向序列與所述逆向序列通過雙向長短期記憶網絡轉化為兩個稠密的特征向量，將兩個特征向量進行拼接，得到所述雙向長短期記憶網絡的輸出特征向量；

S3，將所述雙向長短期記憶網絡的輸出特征向量輸入到S1所述的自注意力網絡中，經全連接神經網絡和Softmax層可以計算輸入序列中每個時刻與輸入序列中其他時刻的注意力分數，所述注意力分數的數值范圍在[0，1]之間，數值越大，表明輸入序列中該時刻對最終結果的貢獻越大，將計算得到的所述注意力分數通過矩陣點乘的方式賦權到所述雙向長短期記憶網絡的輸出特征向量上，得到所述自注意力雙向長短期記憶網絡的最終輸出特征向量；