[發明專利]一種基于組合模型的多維時序數據預測方法

在審

• 申請號: 202011490201.6
• 申請日: 2020-12-16
• 公開（公告）號: CN112561165A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 周宇;陳霖
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N20/10;G06N3/08;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于組合模型的的多維時序數據預測方法，其特征在于包括如下步驟：

(1)對時序數據進行平穩性檢驗，繪制時序數據目標維度的折線圖和自相關函數圖，觀察其中是否存在周期重復模式，探索數據的可預測性；

(2)數據集依據6∶2∶2的比例按時間順序劃分為訓練集、驗證集和測試集，并對不同維度的數據按照訓練集的均值和方差分別進行歸一化處理；

(3)通過滑動窗口的方式批量采集樣本，形成特征，標簽的數據對，樣本采集均以單個時間步作為采集單位，通過過去5個時間步的數據預測當前的數據；

(4)將采集樣本中的特征部分分別輸入到雙通道神經網絡和支持向量機(SVM)中；

(5)其中通過卷積神經網絡(CNN，Convolutional Neural Network)通道得到一個長度為256的向量；

(6)同時通過雙向LSTM(Long Short-Term Memory)網絡通道并結合注意力(Attention)機制，得到一個長度為256的向量；

(7)借鑒注意力(Attention)機制對兩個通道的輸出向量加權融合為一個輸出向量，并通過全連接網絡映射成一個輸出；

(8)計算最終輸出與標簽之間的平均絕對誤差，并以此作為優化值進行反向傳播，訓練網絡的內部參數；

(9)在雙通道神經網絡和支持向量機(SVM)的結果融合部分根據模型的R方評價指標選取最佳比例進行線性融合。

2.所述的一種多維時序數據預測方法，其特征在于，所述步驟(1)中，平穩性代表了某種程度上的時間平移不變性，如果時間序列的性質隨著時間的偏移不發生明顯的變化，則認為時間序列是平穩的。這里通過計算預測維度的方差和進行ADF檢驗來檢驗時間序列的平穩性。方差使用無偏估計，計算方式如下：

自相關函數，也稱為序列相關函數，反映了時間序列與其自身的延遲副本之間的相關關系隨延遲階數的變化情況，實踐中使用無偏估計量來計算自相關系數。定義如下，其中X_t代表某個時間點的數據，μ是均值，σ²是方差：

3.如權利要求1所述的一種多維時序數據預測方法，其特征在于，所述步驟(2)中，歸一化指均值方差歸一化，即將所有數據的均值變為0方差變為1，目的是消除不同維度數據量綱的影響，同時也降低了離群值對模型整體的影響。

4.如權利要求1所述的一種多維時序數據預測方法，其特征在于，所述步驟(3)中，滑動窗口指特征樣本采集的范圍，根據實際情況事先進行指定。

5.如權利要求1所述的一種多維時序數據預測方法，其特征在于，所述步驟(4)中，雙通道神經網絡是由CNN和雙向LSTM并列組成的神經網絡，用于組合序列中的局部依賴和長期依賴信息。SVM是機器學習中一種處理分類問題的監督學習算法，這里使用其拓展方式以解決回歸問題。SVM思想的本質是求解一個線性約束的凸二次優化問題，它將輸入變量映射到高維空間，使得模型具有對非線性時間序列的擬合能力。

6.如權利要求1所述的一種多維時序數據預測方法，其特征在于，所述步驟(5)中，CNN是一個基于卷積操作的深度學習模型，包含多個卷積核，用于提取序列數據的局部特征，該模型能夠將任意結構的二維序列壓縮成固定長度的向量。

7.如權利要求1所述的一種多維時序數據預測方法，其特征在于，所述步驟(6)中，LSTM是一種長短期記憶人工神經網絡，雙向LSTM能夠同時捕獲序列數據兩個方向的信息。Attention機制是可以關注到雙向LSTM每個時間步輸出的一種加權機制。

8.如權利要求1所述的一種多維時序數據預測方法，其特征在于，所述步驟(7)中，對兩個通道的輸出向量加權是一種借鑒了Attention機制的加權方式，可以同時關注到兩個通道的輸出向量。