[發(fā)明專利]基于RAdam-DA-NLSTM時間序列預測方法

在審

• 申請?zhí)枺?/td>: 202111518438.5
• 申請日: 2021-12-13
• 公開（公告）號: CN114282713A
• 公開（公告）日: 2022-04-05
• 發(fā)明（設計）人: 劉半藤;陳唯;王柯;謝陽青;陳友榮
• 申請（專利權）人: 浙江樹人學院（浙江樹人大學）
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/04
• 代理公司: 紹興市寅越專利代理事務所(普通合伙) 33285
• 代理人: 潘敏

1.基于RAdam-DA-NLSTM時間序列預測方法，其特征在于，包括以下步驟：

(1)構建嵌套式LSTM神經網絡；

(2)采用雙階段注意力機制的自編碼器，選擇時間序列的輸入特征和隱藏狀態(tài)特征，構建基于雙階段注意力機制的自編碼器網絡；

(3)采用RAdam優(yōu)化器優(yōu)化求解目標函數。

2.根據權利要求1所述的基于RAdam-DA-NLSTM時間序列預測方法，其特征在于，在步驟(1)中，所述的嵌套式LSTM神經網絡，分為內部LSTM和外部LSTM，內部LSTM和外部LSTM的門控系統(tǒng)運算方式與傳統(tǒng)LSTM保持一致，其共有4個門控系統(tǒng)，分別是遺忘門、輸入門、候選記憶細胞和輸出門，其中各門的計算公式如下：

遺忘門為：f_t＝σ(W_ftx_t+W_fhh_t-1+b_f)；

輸入門為：i_t＝σ(W_ixx_t+W_ihh_t-1+b_i)；

候選記憶細胞為：

輸出門為：o_t＝σ(W_oxx_t+W_ohx_t-1+b₀)；

記憶細胞為：

新一輪的隱藏狀態(tài)為：h_t＝o_t·tanh(c_t)，

式中，σ為sigmoid函數，W_fx和W_fh為外部LSTM遺忘門權重矩陣，W_ix和W_ih為外部LSTM輸入門權重矩陣，W_cx和W_ch為外部LSTM候選記憶細胞權重矩陣，W_ox和W_oh為外部LSTM輸出門權重矩陣，b_f、b_i、b_c和b_o分別為外部LSTM的遺忘門、輸入門、候選記憶細胞和輸出門的偏置，x_t、h_t-1和c_t-1分別為外部LSTM的當前輸入、上一輪的隱藏狀態(tài)和記憶細胞，和為內部LSTM遺忘門權重矩陣，和為內部LSTM輸入門權重矩陣，和為內部LSTM候選記憶細胞權重矩陣，和為內部LSTM輸出門權重矩陣，和分別為內部LSTM的遺忘門、輸入門、候選記憶細胞、輸出門的偏置，和分別為內部LSTM的當前輸入、上一輪的隱藏狀態(tài)和記憶細胞；

輸出層輸出為：y_t＝σ(W_yhh_i)，式中，W_yh為輸出層權重矩陣。

3.根據權利要求1所述的基于RAdam-DA-NLSTM時間序列預測方法，其特征在于，在步驟(2)中，所述的雙階段注意力機制的自編碼器分為基于輸入注意力機制的編碼器和基于時間注意力機制的解碼器。