[發明專利]一種基于自演化預訓練的多變量時間序列預測方法和設備

在審

• 申請號: 202010876972.2
• 申請日: 2020-08-27
• 公開（公告）號: CN111950810A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 李文中;萬晨;張治杰;丁望祥;葉保留;陸桑璐
• 申請（專利權）人: 南京大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/04;G06K9/62;G06F17/18
• 代理公司: 南京泉為知識產權代理事務所(特殊普通合伙) 32408
• 代理人: 許丹丹

1.一種基于自演化預訓練的多變量時間序列預測方法，其特征在于，該方法包括以下步驟：

S1、獲取表征實時運行系統性能的N維度指標數據，構成N個單變量時間序列，作為歷史輸入序列，并進行預處理；

S2、將N個單變量時間序列輸入到基于差分特征構造的自演化預訓練模型中，建立單變量時間序列線性回歸模型，將多階差分信息顯式地融入到線性回歸模型中，形成對應預測輸出

S3、將N個單變量時間序列組成的二維張量進行大小不同的一維卷積操作，提取變量間依賴關系信息得到多個特征圖；

S4、將特征圖輸入到長短記憶網絡中對多尺度特征圖進行時序建模，來捕捉多變量依賴關系的時序信息，對應的多變量建模的網絡組件形成對應輸出

S5、將步驟S2和S4得到的輸出和進行向量元素的一一對應相加融合，構建多變量預測輸出模型，并進行訓練，得到訓練完畢的模型；

S6、將需要進行預測的時間序列進行預處理后輸入到步驟S5得到的已訓練完畢的模型中，從而得到時間序列的預測值。

2.根據權利要求1所述的檢測方法，其特征在于，所述步驟S2包括：

S2-1、將N個單變量時間序列輸入到基于差分特征構造的自演化預訓練模型中，建立單變量時間序列線性回歸模型，對于第i個序列有：

其中表示第i個序列中時刻t-j的時序值，為對應的線性權值，T為歷史輸入序列長度；

S2-2、將多階差分信息顯式地融入到線性回歸模型中，形成對應預測輸出

為差分特征的融合權值，softmax為對應的歸一化操作，Q為最大差分階數；為標準的線性自回歸項，x_t-T：t-1表示從t-1時刻到t-T時刻的時間序列。

3.根據權利要求1所述的預測方法，其特征在于，所述步驟S3中一維CNN卷積操作如下：

C^(k)＝W^(k)*X_t-T：t-1

W^(k)為第k個卷積核，C^(k)是卷積結果，即從變量間依賴關系中提取的特征圖，X_t-Tt-1表示N個單變量時間序列組成的二維張量，x_t-T：t-1表示從t-1時刻到t-T時刻的時間序列，T為歷史輸入序列長度。

4.根據權利要求1所述的預測方法，其特征在于，所述步驟S4包括：將步驟S3得到第k個卷積核所有通道的特征圖C(k)按時間維度進行拼接，然后作為對應的第k個長短記憶網絡的輸入；對應網絡單元的隱藏輸出輸入到全連接層，形成輸出向量h^(k)∈R^N×1，K個相同的LSTM總計輸出h⁽¹⁾，h⁽²⁾，...，h^(K)，將所有向量h⁽¹⁾，h⁽²⁾，...，h^(K)相加形成多變量依賴關系建模輸出結果

5.根據權利要求1所述的檢測方法，其特征在于，所述步驟S5中將步驟S2和S4輸出的結果進行加權融合，融合方法如下：

W^(se)，W^(id)為融合權值，表示元素乘法。

6.根據權利要求5所述的檢測方法，其特征在于，所述步驟S5中訓練模型，構造優化目標對應的損失函數如下：

N為多變量時間序列的維數。

7.一種計算機設備，其特征在于，所述設備包括：

一個或多個處理器；

存儲器；以及

一個或多個程序，其中所述一個或多個程序被存儲在所述存儲器中，并且被配置成由所述一個處理器執行，所述程序被處理器執行時實現如權利要求1-6中的任一項所述方法的步驟。