[發明專利]基于自注意力機制的設備剩余壽命預測系統

有效

• 申請號: 202011139314.1
• 申請日: 2020-10-22
• 公開（公告）號: CN112257263B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 王欣剛;劉元俊;徐歆堯;徐德
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06N3/04;G06N3/08;G06F119/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于自注意力機制的設備剩余壽命預測系統，其特征在于，該系統包括深度單元、注意力單元、預測單元；

所述深度單元，基于前饋神經網絡構建，配置為將輸入數據消除時間維度后進行高維向量表示，得到第一向量；所述將輸入數據消除時間維度后進行高維向量表示的具體步驟為：首先將輸入數據的多變量時間序列拉平得到定義為之后將拉平處理后的輸入數據輸入到多層堆疊的神經網絡中，得到Deep部分的高維向量表示，其中，高維向量表示的每層神經網絡表示為：

h_l+1＝RELU(W_lh_l+b_l+h_l)

其中，RELU(x)＝max(0,x)為非線性函數，W_l為第l層模型的權重參數，h_l為第l層的輸入特征，b_l為第l層的偏置參數；

所述深度單元的輸出部分設置有Res-FFNN；

所述注意力單元，配置為將輸入數據的時間序列映射到統一的向量空間，并將所述向量空間中對應的特征向量輸入到自注意力模塊，得到多個子空間的注意力向量并拼接為一個，得到第二向量；其中，所述得到多個空間的注意力向量并拼接為一個采用Multi-HeadSelf-Attention多頭自注意力模塊實現，Multi-Head Self-Attention函數的定義為：

MultiHead(Q,K,V)＝Concat(head₁,...,head_h)

其中，head_i＝Attention(QW_i^Q,KW_i^K,VW_i^V)，W_i^Q為第i層的查詢權重參數，W_i^K為第i層的鍵權重參數，W_i^V為第i層的值權重參數；

Embedding向量e_i經過MultiHead多頭注意力函數得到注意力向量(其中，a_t為第t時刻的注意力向量)之后，將注意力向量a_i輸入到單層Res-FFNN得到為第i個注意力隱向量，函數定義為：

其中，W_ffn為Res-FFNN的權重參數，b_ffn為Res-FFNN的偏置參數；

將經過Res-FFNN得到的在flatten layer沿著時間維度展開并且拼接到一起，得到Attention部分的最終輸出；

所述預測單元，配置為將所述第一向量、所述第二向量合并為第三向量，并通過前饋神經網絡輸出預測結果。

2.根據權利要求1所述的基于自注意力機制的設備剩余壽命預測系統，其特征在于，所述第一向量，其獲取方法為：

將所述輸入數據的多變量時間序列拉平以消除其時間維度；

將拉平處理后的輸入數據通過多層堆疊的神經網絡獲取高維向量表示。

3.根據權利要求1所述的基于自注意力機制的設備剩余壽命預測系統，其特征在于，所述注意力單元包括嵌入模塊，所述嵌入模塊用于將輸入數據的時間序列映射到統一的向量空間；

所述嵌入模塊包括兩個CNN結構；第一個CNN結構為濾波器尺寸為3的單層CNN結構；第二個CNN結構包括兩層濾波器尺寸為1的CNN層。

4.根據權利要求3所述的基于自注意力機制的設備剩余壽命預測系統，其特征在于，所述注意力單元還包括多頭自注意力模塊；

所述多頭自注意力模塊包括自注意力模塊；所述自注意力模塊的輸入為增加位置編碼向量后的所述嵌入模塊輸出的向量空間中對應的特征向量；所述自注意力模塊的輸出為多個子空間的注意力向量拼接后的向量。

5.根據權利要求1所述的基于自注意力機制的設備剩余壽命預測系統，其特征在于，所述注意力單元中Res-FFNN之后設置有序列拼接層，用于將Res-FFNN輸出的向量沿著時間維度展開并且拼接到一起。