[發明專利]Informer模型改進方法及長序列時序的預測方法及系統

在審

• 申請號: 202210019775.8
• 申請日: 2022-01-10
• 公開（公告）號: CN114444584A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 張冬梅;賈思亮;李江;成建梅;朱天清
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 許美紅

1.一種基于Wasserstein距離的Informer模型改進方法，其特征在于，對Informer模型中的ProbSparse自注意力機制進行改進，具體使用Wasserstein距離替換KL散度。

2.根據權利要求1所述的基于Wasserstein距離的Informer模型改進方法，其特征在于，該方法包括以下步驟：

S1、將輸入的時序數據預處理后進行編碼，并作為Informer模型中自注意力機制的輸入，包括查詢向量Q；

S2、計算查詢向量Q的均勻分布和注意力概率分布；

S3、使用Wasserstein距離度量查詢向量Q的均勻分布和注意力概率分布之間的相似性；

S4、當相似性的值達到預設閾值時，查詢向量Q在注意力分布中起主導作用，選取查詢向量Q中超過閾值的向量組成新的查詢向量根據該新的查詢向量重新計算ProbSparse自注意力機制。

3.根據權利要求1所述的基于Wasserstein距離的Informer模型改進方法，其特征在于，還包括步驟：

在Informer模型的編碼器各層之間增設直達注意力通道，該直達注意力通道與各層編碼器的注意力機制模塊連接，上一層編碼器的注意力機制模塊的輸出作為下一層編碼器的注意力機制模塊的附加輸入。

4.根據權利要求1或3所述的基于Wasserstein距離的Informer模型改進方法，其特征在于，還包括步驟：

使用基于K-Max-Pooling的蒸餾操作，對各編碼器層之間做網絡參數壓縮，K為大于1的整數。

5.一種基于改進Informer模型的長序列時序預測方法，其特征在于，該方法基于權利要求3所述的基于Wasserstein距離的Informer模型改進方法，該預測方法包括以下步驟：

將時序數據進行標準化處理，對標準化處理后的時序數據進行詞向量編碼和位置編碼，并將兩種編碼的數據進行加權，得到時序樣本，將時序樣本劃分為訓練集、測試集和驗證集；

將訓練集和測試集中的時序樣本數據輸入到改進后的Informer模型進行訓練，得到訓練好的Informer改進模型；

通過驗證集對訓練好的Informer改進模型進行驗證，得到最終的Informer改進模型；

使用最終的Informer改進模型對待測試時序進行預測。

6.根據權利要求5所述的基于改進Informer模型的長序列時序預測方法，其特征在于，改進后的Informer模型進行訓練方法包括以下步驟：

將訓練集的數據輸入改進后的Informer模型，得到訓練集的預測數據；

計算訓練集的預測數據和實際數據的平均絕對誤差、均方誤差、均方根誤差、平均絕對百分比誤差和純均方誤差，并將其作為度量指標對模型進行評估，得到優化后的模型參數，作為改進后的Informer模型初始模型參數。

7.一種基于Wasserstein距離的Informer改進模型，其特征在于，該Informer改進模型具體使用Wasserstein距離替換KL散度。

8.根據權利要求7所述的基于Wasserstein距離的Informer改進模型，其特征在于，該Informer改進模型的編碼器各層之間設有直達注意力通道，該直達注意力通道與各層編碼器的注意力機制模塊連接，上一層編碼器的注意力機制模塊的輸出作為下一層編碼器的注意力機制模塊的附加輸入。

9.根據權利要求7或8所述的基于Wasserstein距離的Informer改進模型，其特征在于，該Informer改進模型使用基于K-Max-Pooling的蒸餾操作，對各編碼器層之間做網絡參數壓縮，K為大于1的整數。

10.一種基于改進Informer模型的長序列時序預測系統，其特征在于，包括：

樣本處理模塊，用于將時序數據進行標準化處理，對標準化處理后的時序數據進行詞向量編碼和位置編碼，并將兩種編碼的數據進行加權，得到時序樣本，將時序樣本劃分為訓練集、測試集和驗證集；

訓練模塊，用于將訓練集和測試集中的時序樣本數據輸入到改進后的Informer模型進行訓練，得到訓練好的Informer改進模型；

驗證模塊，用于通過驗證集對訓練好的Informer改進模型進行驗證，得到最終的Informer改進模型；

預測模塊，用于使用最終的Informer改進模型對待測試時序進行預測。