[發明專利]基于RAdam-DA-NLSTM時間序列預測方法

在審

• 申請號: 202111518438.5
• 申請日: 2021-12-13
• 公開（公告）號: CN114282713A
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 劉半藤;陳唯;王柯;謝陽青;陳友榮
• 申請（專利權）人: 浙江樹人學院（浙江樹人大學）
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/04
• 代理公司: 紹興市寅越專利代理事務所(普通合伙) 33285
• 代理人: 潘敏

本發明涉及時間序列預測方法技術領域，具體涉及基于RAdam?DA?NLSTM時間序列預測方法，本發明通過種嵌套式LSTM神經網絡，一個新的內部LSTM單元結構被采用作為LSTM的記憶細胞，使模型能夠指導性的記憶遺忘和記憶選擇，提高模型預測精度，然后構建基于雙階段注意力機制的自編碼器網絡，采用基于輸入注意力機制的編碼器和基于時間注意力機制的解碼器選擇時間序列的輸入特征和隱藏狀態特征，改善傳統LSTM的注意分散缺陷問題，最后采用RAdam優化器求解目標函數，其能根據方差分散度，動態地選擇Adam和SGD優化器，并構建整流器項，使得自適應動量得到充分表達，增強模型的穩定性，從而使得本方法具有更高的預測精度和穩定性。

技術領域

本發明涉及時間序列預測方法技術領域，具體涉及基于RAdam-DA-NLSTM時間序列預測方法。

背景技術

物聯網世界產生海量數據，如何運用好這些數據是如今社會、經濟發展的關鍵技術問題。因此，學者們紛紛研究基于人工智能的方法對物聯網中的海量數據進行處理與分析。其中，時間序列預測方法是研究熱點之一。

LSTM(Long Short Term Memory，長短期記憶)神經網絡能夠充分挖掘海量數據中蘊藏的信息，具備深度學習的能力。因此，目前時間序列方法主要的方法之一是采用LSTM神經網絡。但生活中大多數時間序列呈現高維復雜特征，基于傳統LSTM神經網絡的預測模型在處理這些數據時會出現網絡特征凝聚弱導致的魯棒性能差、過擬合導致的模型不穩定和泛化性能差問題。

綜上所述，研發基于RAdam-DA-NLSTM時間序列預測方法，仍是時間序列預測方法技術領域中急需解決的關鍵問題。

發明內容

針對現有技術所存在的上述缺點，本發明在于提供基于RAdam-DA-NLSTM時間序列預測方法，本發明采用自編碼器網絡模型，包含輸入層、編碼器、解碼器和輸出層，采用輸入注意力機制優化NLSTM1構成編碼器；采用時間注意力機制優化NLSTM2構成解碼器，然后，在編解碼時，采用RAdam優化器優化更新DA-NLSTM網絡目標函數，以此綜合改善傳統LSTM的注意分散缺陷問題和增強模型的穩定性。

本發明首先設計一種嵌套式LSTM神經網絡，一個新的內部LSTM單元結構被采用作為LSTM的記憶細胞，使模型能夠指導性的記憶遺忘和記憶選擇，提高模型預測精度；然后設計一種基于雙階段注意力機制的自編碼器網絡，采用基于輸入注意力機制的編碼器和基于時間注意力機制的解碼器選擇時間序列的輸入特征和隱藏狀態特征，改善傳統LSTM的注意分散缺陷問題，有效捕獲時間序列的長期時間依賴性，提高網絡的特征凝聚力；接著提出采用RAdam優化器求解目標函數，其能根據方差分散度，動態地選擇Adam和SGD優化器，并構建整流器項，使得自適應動量得到充分表達，增強模型的穩定性。

其具體技術方案如下：

基于RAdam-DA-NLSTM時間序列預測方法，包括以下步驟：

(1)構建嵌套式LSTM神經網絡；

(2)采用雙階段注意力機制的自編碼器，選擇時間序列的輸入特征和隱藏狀態特征，構建基于雙階段注意力機制的自編碼器網絡；

(3)采用RAdam優化器優化求解目標函數。

進一步的，在步驟(1)中，所述的嵌套式LSTM神經網絡，分為內部LSTM和外部LSTM，內部LSTM和外部LSTM的門控系統運算方式與傳統LSTM保持一致，其共有4個門控系統，分別是遺忘門、輸入門、候選記憶細胞和輸出門，其中各門的計算公式如下：

遺忘門為：f_t＝σ(W_ftx_t+W_fhh_t-1+b_f)；