[發明專利]一種融合長短期記憶網絡與注意力機制的時間序列預測方法

在審

• 申請號: 202310027489.0
• 申請日: 2023-01-09
• 公開（公告）號: CN116432697A
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 李衛榜;溫顯昀;李玲;崔夢天
• 申請（專利權）人: 西南民族大學
• 主分類號: G06N3/0442
• 分類號: G06N3/0442;G06N3/0455;G06N3/08
• 代理公司: 成都華風專利事務所(普通合伙) 51223
• 代理人: 杜朗宇

本發明公開了一種融合長短期記憶網絡與注意力機制的時間序列預測方法，包括：(1)輸入數據編碼，對輸入的時間序列數據使用長短期記憶網絡LSTM進行編碼處理，并對輸出向量進行批量歸一化處理；(2)注意力權重計算，對編碼層輸出的當前時刻的隱藏狀態數據，計算當前時刻的注意力權重，得到注意力層的輸出向量；(3)時間序列數據預測，對注意力層輸出向量通過解碼器計算得到初始輸入時間序列所對應的預測輸出值，再通過全連接層的relu激活函數計算得到預測時間序列；(4)在真實時間序列數據集上使用本發明融合長短期記憶網絡與注意力機制的時間序列的模型與主流時間序列預測模型進行對比，以此驗證本發明時間序列預測模型的性能優劣。研究結果表明，本發明提出的融合長短期記憶網絡與注意力機制的時間序列預測模型比目前主流的時間序列預測模型預測效果要好。

技術領域

本發明涉及時間序列預測領域，具體涉及一種融合長短期記憶網絡與注意力機制的時間序列預測方法。

背景技術

在工業大數據領域中，因為物聯網設備產生的數據越來越多，而這些產生的數據往往是以時間序列數據為主，所以需要研究一些新的方法來對時間序列數據進行處理和預測，這些方法可以更好地對于一些實際的場景進行預測，比如日常生活中的交通情況、天氣情況和股票的價格波動情況等等。然而對于這些時間序列數據的預測卻并不簡單，由于時間序列數據在產生的過程中往往包含噪音和缺失值，所以這對于數據的質量將會大打折扣，數據質量將影響到數據的預測。此外，對于時間序列的研究還需要使用高性能的GPU服務器，一方面GPU的昂貴導致研究成本很高；另一方面，由于計算資源和數據規模的影響，暫時還無法實現實時計算，這就導致運行效率較慢。

目前對于時間序列數據的預測的方法有很多，可以分為傳統方法和非傳統方法這兩類。典型的傳統方法有自回歸(AR)模型、移動平均(MA)模型、自回歸移動平均(ARMA)模型和差分自回歸移動平均(ARIMA)模型等，然而這些傳統的方法在預測中通常存在缺陷，這些方法往往對于數據的要求相對嚴格，因為這些方法都只能處理一些平穩的數據，但是在現實生活中的時間序列數據基本都是不平穩的，所以傳統的方法對于數據的預測的準確性不高。非傳統方法包括機器學習和深度學習，機器學習中主流的有支持向量機(SVM)、聚類和神經網絡等。深度學習中有循環神經網絡(RNN)、長短期記憶網絡(LSTM)和門控循環單元網絡(GRU)等。這些非傳統的方法相比于傳統方法預測性能雖然有所提升，但是預測的準確率普遍不高。

發明內容

要解決的技術問題

為解決目前的方法對于時間序列預測的準確率不高的問題，本發明提出一種融合長短期記憶網絡與注意力機制的時間序列預測方法，從而解決了現有技術中存在的前述問題。

技術方案

一種融合長短期記憶網絡與注意力機制的時間序列預測方法，其特征在于步驟如下：

步驟1：獲取時間序列預測問題的樣本數據集，包括輸入時間序列X和預測輸出的時間序列Y，作為時間序列預測的初始階段。

步驟2：對步驟1獲取的原始的時間序列數據進行最大最小歸一化處理，并將數據轉化成[樣本，時間步長，特征]樣式的三維數據，對其中的異常值和缺失值進行處理。

步驟3：超參數初始化，隨機初始化一組超參數，包括迭代參數、batch_size、LSTM中的隱藏層數量和模型的學習率。