[發明專利]一種注意區域信息相似性的時間序列預測模型構建方法

在審

• 申請號: 201910849154.0
• 申請日: 2019-09-09
• 公開（公告）號: CN110717577A
• 公開（公告）日: 2020-01-21
• 發明（設計）人: 劉志偉;王幫海
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06F16/906
• 代理公司: 44102 廣州粵高專利商標代理有限公司
• 代理人: 林麗明

1.一種注意區域信息相似性的時間序列預測模型構建方法，其特征在于，包括以下步驟：

步驟S1：采集時間序列數據，將采集到的時間序列數據進行標準化處理；

步驟S2：將標準化處理后的時間序列數據按先后順序輸入到長短期神經網絡LSTM中，獲取并保存長短期神經網絡LSTM每個時間步輸入時間序列數據后更新的狀態向量；

步驟S3：使用卷積神經網絡CNN對長短期神經網絡LSTM中每個時間步之前連續的多個狀態向量進行卷積運算，得到與每一個時間步相對應的區域信息表征向量；

步驟S4：計算時間步之間所對應的區域信息表征向量的相似度，并根據相識度對區域信息表征向量賦予不同的權值；

步驟S5：將區域信息表征向量的權值映射為0～1之間的實數，并保證所有權值映射后的值的和為1；

步驟S6：將每個時間步的狀態向量與對應時間步映射后的權值進行加權融合操作，得到最終的注意力表征向量，完成注意區域信息相似性的時間序列預測模型的構建；

步驟S7：使用損失函數以及優化器對權值進行優化，將注意區域信息相似性的時間序列預測模型運算過程中的損失降到最小。

2.根據權利要求1所述的一種注意區域信息相似性的時間序列預測模型構建方法，其特征在于，在步驟S1中，進行標準化處理的方式為采用歸一化處理，即：

其中，為歸一化后的時間序列數據，x_i為原始的時間序列數據，x_max、x_min分別表示當前時間序列數據的最大值和最小值。

3.根據權利要求2所述的一種注意區域信息相似性的時間序列預測模型構建方法，其特征在于，在步驟S2中，長短期神經網絡LSTM每個時間步輸入時間序列數據后更新的狀態向量為：

h_t＝LSTM(h_t-1,x_t) (3)

其中，h_t為當前時間步輸入更新狀態，h_t-1為上一時間步輸入更新狀態，x_t為當前時間步輸入數據特征值。

4.根據權利要求3所述的一種注意區域信息相似性的時間序列預測模型構建方法，其特征在于，在步驟S3中進行卷積運算時，超出卷積神經網絡運算輸入的部分用0進行補齊，一個時間步的區域信息抽取公式表示如下：

Vector_t＝CNN(h_t-T,h_t-T+1,...,h_t) (4)

其中，T為自定義的一個時間跨步，h_t-T表示與當前時間步相差T個時間跨步的時間步，Vector_t代表對一個時間跨步信息進行卷積計算后得到的區域信息表征向量。

5.根據權利要求4所述的一種注意區域信息相似性的時間序列預測模型構建方法，其特征在于，在步驟S4中，通過注意力機制自動關注時間步t與上一個時間步t-1之間的區域信息表征向量，使用余弦相似度計算公式計算出時間步t區域信息表征向量與時間步t-1之間的區域信息表征向量相似度，對于相似度更高的區域信息表征向量，則該區域信息表征向量對應時間步LSTM狀態向量自動賦予更大的權值，具體的公式表示為：

S_t＝cos(Vector_t,Vector_n) (5)

其中，cos(·)為余弦相似度計算函數，S_t為相似度，下標n表示當前時刻，即需要預測下一時刻信息的上一個當前時刻，下標t表示前面第t個時間跨步；

其中，α_t為長短期神經網絡對應時間步t的狀態向量權值，Sj代表每個時間步計算得到的相似度，St為t時間步的相似度。