[發明專利]基于自適應降噪和集成LSTM的多變量時間序列預測方法

在審

• 申請號: 201910123563.2
• 申請日: 2019-02-18
• 公開（公告）號: CN109919364A
• 公開（公告）日: 2019-06-21
• 發明（設計）人: 劉發貴;蔡木慶
• 申請（專利權）人: 華南理工大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

本發明公開了基于自適應降噪和集成LSTM的多變量時間序列預測方法，用以解決現有方法對具有非平穩、非線性和含噪特點的多變量時間序列預測時性能不穩定以及預測精度低的問題。所述方法包括：采用具有自適應噪聲的完全集合經驗模式分解方法對含噪混沌多變量時間序列分解得到一系列頻率由高到底的本征模函數；采用排列熵的思想區分含噪高頻本征模函數和低頻不含噪本征模函數；構造自適應閾值和自適應閾值函數對含噪本征模函數降噪；構造堆疊自動編碼器對降噪后的多變量時間序列提取特征；基于LSTM神經網絡構造多變量時間序列弱預測器；構造考慮驗證集預測誤差的集成算法組合多個LSTM弱預測器得到強預測器。

技術領域

本發明屬于計算機應用技術領域，尤其涉及一種基于自適應降噪和集成LSTM的多變量時間序列預測方法。

背景技術

在實際生產和科學研究中，通過對某一個或一組指標進行觀察測量得到按照時間先后序列排列的觀察值稱為時間序列數據，時間序列模型能夠擬合并學習時間序列數據的時間變化規律，例如隨機性變化、周期性變化或者趨勢性變化。多變量時間序列預測模型是針對多個變量時間序列，充分考慮各個變量時間序列之間的關系，并且對某一個或多個目標時間序列進行預測。多變量時間序列預測已廣泛應用于許多領域，例如金融市場預測、能源預測和環境污染預測等。根據歷史觀察預測未來的新趨勢或潛在的危險事件具有重要意義，然而，如何預處理復雜的混沌多變量時間序列，捕獲這些變量之間的特征，并做出準確的預測仍然是主要的挑戰。

針對多變量時間序列預測的問題，很多研究提出了相關的預測模型，主要分為兩類，第一類是基于隨機過程理論和數理統計的傳統模型，例如自回歸移動平均模型(ARIMA)、向量自回歸模型(VAR)和高斯過程(GP)等，這類模型通常使用預定義的線性或非線性模型，然后根據輸入數據動態調整模型的參數，難以發掘非線性時間序列中的復雜模式以及多變量之間的依賴關系。第二類是神經網絡模型，這類結構不固定，可以根據輸入數據靈活地探索線性或非線性特征，并學習相應的函數映射，例如循環神經網絡(RNN)、卷積神經網絡(CNN)和長短期記憶(LSTM)等。在處理復雜的多變量時間序列時，神經網絡尤其是循環神經網絡及其變種具有明顯的優越性。

發明內容

本發明的目的在于提供一種基于自適應降噪和集成LSTM的多變量時間序列預測方法，用以解決現有方法對具有非平穩、非線性和含噪特點的多變量時間序列預測時性能不穩定以及預測精度低的問題。

本發明通過如下技術方案實現。

基于自適應降噪和集成LSTM的多變量時間序列預測方法分為降噪階段、特征提取階段以及集成預測三個階段。降噪階段對多變量時間序列里的目標序列進行降噪，以去除目標序列里的噪聲因素，提高后續分析的效率和有效性；特征提取階段對所有變量時間序列進行特征提取，充分考慮每個變量序列之間的相互依賴關系，以尋找更為合理的數據輸入格式，提高模型訓練時間和收斂速度；集成預測階段，基于神經網絡構造預測器，并使用改進的集成算法組合多個集成預測器得到強預測器，提高預測精度的同時防止過擬合。

進一步地，降噪階段，采用具有自適應噪聲的完全集合經驗模式分解方法(CEEMDAN)分解目標時間序列的層次結構，得到一系列頻率由高到底的本征模函數(IMF)。然后采用排列熵的思想得到每一個本征模函數排列熵，排列熵高的IMF含噪高，反之含噪少，通過確定排列熵的閾值，從而區分含噪的高頻IMF和不含噪的低頻IMF。最后構造自適應閾值來劃分每一個含噪的高頻本征模函數中的含噪數據點和不含噪數據點，并且構造自適應閾值函數來對含噪的高頻本征模函數降噪。

進一步地，特征提取階段，采用堆疊自動編碼器神經網絡對多變量時間序列進行無監督的特征提取，在每一層自動編碼器中，輸入的是整個多變量時間序列，先對多變量時間序列編碼，映射到隱藏層，然后再解碼為原多變量時間序列，隱藏層即為多變量時間序列的特征。通過堆疊多層自動編碼器，逐層提取更深層次的特征，并且充分考慮各個變量序列之間的關系和降低維度。