[發明專利]Informer模型改進方法及長序列時序的預測方法及系統

在審

• 申請號: 202210019775.8
• 申請日: 2022-01-10
• 公開（公告）號: CN114444584A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 張冬梅;賈思亮;李江;成建梅;朱天清
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 許美紅

本發明公開了一種Informer模型改進方法及長序列時序的預測方法及系統，其中Informer模型改進方法主要對Informer模型中的ProbSparse自注意力機制進行改進，具體使用Wasserstein距離替換KL散度。本發明通過引入Wasserstein距離將Informer模型做進一步改進，在長序列預測任務中表現出更好的性能。基于Wasserstein距離的自注意力機制在度量無重疊分布時，效果優于KL散度。

技術領域

本發明涉及機器學習領域，尤其涉及一種基于Wasserstein距離的Informer模型改進方法及長序列時序的預測方法及系統。

背景技術

在長時序預測任務中，如何捕獲長序列輸入之間的長期依賴關系已成為最具挑戰性的熱門課題之一。2017年谷歌機器翻譯團隊提出Transformer架構，捕獲時序序列間長期依賴關系的能力要優于RNN模型。2020年Neo等基于Transformer框架建立了時序預測模型，并用于流感樣疾病預測，研究結果表明，相對于ARIMA、LSTM、Seq2Seq等模型，使用注意力機制的Transformer模型在短時序預測任務上預測結果更優。2021年Zhou等證明注意力矩陣貢獻分數服從長尾分布，即序列中某個元素一般只會和少量元素有較高的關聯度，通過引入Kullback-Leibler散度，找到這些重要的序列元素，僅對高關聯度的向量進行規范點積運算，提出一種稀疏的自注意力機制，降低時間和內存開銷，并在長時序預測任務上表現出良好的性能。

Informer模型解決Transformer模型在應用于長時序預測任務時存在一些嚴重的問題。比如二次時間復雜度、較高的內存使用量和編解碼器結構的固有限制等。但ProbSparse自注意力機制中使用的Kullback-Leibler散度，在分布無重疊時，其散度值可能無意義。Post Layer Normalization結構在深層次的網絡中會存在梯度消失的問題。模型蒸餾中的Max-Pooling會損失過多的序列信息。

綜上所述，Informer模型在Transformer架構的基礎上針對長時序預測任務做出改進，但模型中還存在一些問題可以做進一步改進工作。

發明內容

本發明主要目的在于提供一種在長序列預測任務中表現出更好性能的Informer模型改進方法及長序列時序的預測方法。

本發明所采用的技術方案是：

提供一種基于Wasserstein距離的Informer模型改進方法，對Informer模型中的ProbSparse自注意力機制進行改進，具體使用Wasserstein距離替換KL散度。

接上述技術方案，該方法包括以下步驟：

S1、將輸入的時序數據預處理后進行編碼，并作為Informer模型中自注意力機制的輸入，包括查詢向量Q；

S2、計算查詢向量Q的均勻分布和注意力概率分布；

S3、使用Wasserstein距離度量查詢向量Q的均勻分布和注意力概率分布之間的相似性；

S4、當相似性的值達到預設閾值時，查詢向量Q在注意力分布中起主導作用，選取查詢向量Q中超過閾值的向量組成新的查詢向量根據該新的查詢向量重新計算ProbSparse自注意力機制。

接上述技術方案，還包括步驟：

在Informer模型的編碼器各層之間增設直達注意力通道，該直達注意力通道與各層編碼器的注意力機制模塊連接，上一層編碼器的注意力機制模塊的輸出作為下一層編碼器的注意力機制模塊的附加輸入。

接上述技術方案，還包括步驟：

使用基于K-Max-Pooling的蒸餾操作，對各編碼器層之間做網絡參數壓縮，K為大于1的整數。