[發明專利]基于并行時空注意力機制的TCN多元時間序列預測方法

在審

• 申請號: 202011089562.X
• 申請日: 2020-10-13
• 公開（公告）號: CN112257911A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 章軻;樊謹;黃益攀;劉振濤;陳佰平
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/04;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.基于并行時空注意力機制的TCN多元時間序列預測方法，其特征在于，具體步驟如下：

步驟1、公式定義；

多變量的時間序列，包括外生序列和目標序列；

其中，外生序列定義為X＝(X⁽¹⁾，X⁽²⁾，...，X⁽ⁿ⁾)∈R^n×T，其中n為外生序列的維度，T為窗口大小；對于第i個外生序列X⁽ⁱ⁾，將其表示為其中X⁽ⁱ⁾的窗口大小為T；

同時定義目標序列為Y＝(y₁，y₂，...，y_T)∈R^T,長度同樣為一個窗口大小T；

通常，給出外生序列X＝(X⁽¹⁾，X⁽²⁾，...，X⁽ⁿ⁾)和目標序列Y＝(y₁，y₂，...，y_T)，需要預測下一個目標序列值可以得到如下計算式：

其中F(.)是需要學習的非線性映射函數；

步驟2、構建多元時間序列預測模型；

多元時間序列預測模型包括兩個并行的網絡主干，空間注意力分支主干通過空間注意力模塊提取外生序列和目標序列之間的空間相關性，時間注意力分支主干則通過時間注意力模塊來捕捉窗口中所有時間步間的時間依賴性；空間注意力模塊和時間注意力模塊分別連接兩個相同的堆疊TCN主干和全連接層；

步驟3、將多變量的時間序列輸入多元時間序列預測模型中，獲得最終的預測結果；

將多變量的時間序列輸入多元時間序列預測模型中，所述的多變量的時間序列包括外生序列和目標序列，多變量的時間序列分別經過兩個并行的網絡主干，空間注意力分支主干通過空間注意力模塊提取外生序列和目標序列之間的空間相關性，時間注意力分支主干則通過時間注意力模塊來捕捉窗口中所有時間步間的時間依賴性；空間注意力模塊和時間注意力模塊的輸出通過兩個相同的堆疊TCN主干進行處理，獲得的輸出結果分別被傳送到兩個全連接層，然后將兩個全連接層的輸出求和產生最終的預測結果。

2.根據權利要求1所述的進一步的，基于并行時空注意力機制的TCN多元時間序列預測方法，其特征在于，并行的網絡主干時空注意力模塊具體操作如下：

空間注意力分支主干采用空間注意力模塊提取外生序列與目標序列之間的空間相關性；同時，時間注意力分支主干使用時間注意力模塊來獲得窗口大小T之間的長歷史時間依賴關系；空間注意力分支主干輸入表示為其中n表示完整外生序列的維度，t表示當前窗口中的一個時間步,y_t表示當前t時間步的目標序列值；首先，通過對原始輸入進行線性變換，生成一個空間注意權重向量c_t用于表示每個特征在時間步t中的重要性：

c_t＝W_c^Tx_t+b_c

其中W_c∈R^n×1，b_c∈R是需要學習的參數；

使用softmax函數對生成的空間注意權重向量c_t進行歸一化，以確保所有注意力權重之和為1，得到向量α_t：

時間注意力分支主干的輸入為其中i表示第i個外生序列，T為窗口大小；同樣的，對原始輸入采用線性變換產生一個時間注意力權重向量d⁽ⁱ⁾，反映第i個外生序列在從1到T所有時間步的重要性：

d⁽ⁱ⁾＝W_d^Tx⁽ⁱ⁾+b_d

其中W_d∈R^T×1，b_d∈R是需要學習的參數；使用softmax函數對向量d⁽ⁱ⁾進行歸一化得到β⁽ⁱ⁾：

其中當前時間步t∈[1，T]。

3.根據權利要求1所述的進一步的，基于并行時空注意力機制的TCN多元時間序列預測方法，其特征在于，進一步的，所述的堆疊TCN主干模塊具體如下：

使用原始TCN作為基本主干，并將其堆疊N次得到N個層級；TCN中的卷積層采用因果卷積，即不存在信息泄漏，也就是在計算當前時間步輸出時，只對當前時間步或之前的狀態進行卷積；當處理長序列時，擴張卷積通過指數增長擴張因子實現了在較少的參數和層數的情況下得到更大的感受野；TCN各層的有效歷史長度為(k-1)*d，其中k是卷積核大小，d是擴張因子；為了控制參數的數量，選擇一個固定k的大小，并且每一層都以指數增加d的值，即d＝2^j，其中j表示網絡的層級；使用殘差連接來避免梯度消失的問題，殘差連接可由X與G(X)來定義:

Output＝ReLU(X+G(X))

其中X表示原始輸入，G(·)表示一個TCN骨干網絡的處理過程。