[發明專利]一種利用注意力機制改進的卷積長短期記憶網絡時空序列預測方法

有效

• 申請號: 202011464171.1
• 申請日: 2020-12-14
• 公開（公告）號: CN112418409B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 方巍;龐林;易偉楠;王楠
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/0442;G06N3/045;G06N3/049;G06N3/08;G06N3/088
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 曹坤

本發明公開了一種利用注意力機制改進的卷積長短期記憶網絡時空序列預測方法。涉及計算機預測領域，具體步驟：(1)、非對稱卷積塊高維特征提取器提取空間特征；(2)、嵌入注意力模塊的ConvLSTM編碼器?解碼器架構預測外推特征；(3)、特征結果反向重構；(4)、L1、L2正則化優化算法；(5)、預測時空序列圖像。本發明通過多層卷積神經網絡可以很好的提取時空序列數據的高維特征，以此作為模型的輸入不僅解決了高維不可計算的問題還強調了空間關鍵信息；改進后的ConvLSTM能夠更好的學習到時空特征實現更精準的外推；本發明適用于所有的時序性圖像。

技術領域

本發明涉及計算機預測領域，具體涉及一種利用注意力機制改進的卷積長短期記憶網絡時空序列預測方法。

背景技術

時空序列預測為一種基于深度學習的圖像外推技術，它根據之前的N幀圖片序列來預測未來M幀圖像；現階段，圖像外推技術已廣泛應用在氣象降水雷電預測、交通流預測、視頻預測、人類動作預測、機器人技術等領域，已然成為計算機視覺方面的研究熱點，但就目前的技術仍有很大的局限性；一方面當目標發生快速變化時，應基于附近的幀而非遠處的幀上生成將來的圖像，這要求預測模型學習短期視頻動態；另一方面當場景中的運動對象頻繁糾纏在一起時，很難將它們分離到生成的幀中，這就要求預測模型提取在發生糾纏之前的上下文；因此，應該適應性地考慮短期和長期的視頻關系；由于外推算法除了輸入序列并不會獲得理解序列內容的任何線索，在這種無監督的情況下學習的最大障礙是如何對圖像演化進行準確建模從而學習序列中復雜的時間和空間關系，所以建立一個有效的時空序列預測模型仍然是一個富有挑戰性的任務。

傳統的RNN模型會導致嚴重的梯度爆炸和梯度消失問題并且無法很好的處理遠距離依賴。為了緩解這些問題，并進一步優化RNN模型，1997年Hochreater和Schmidhuber提出了長短期記憶網絡(LSTM)模型，通過注入門機制學習選擇性的記憶重要信息和遺忘次要信息，提高了RNN模型性能；為了更好的將LSTM模型應用在圖像序列上，2015年Xingjian?Shi等人提出了一種將卷積結構與LSTM相結合的新型網絡Convlutional?LSTM(ConvLSTM)，該模型可以同時學習到空間和時間上特征；2016年，Xingjian?Shi等人繼續提出了軌跡GRU來克服卷積結構的局部不變性；2017年Yunbo?Wang等人對ConvLSTM的內部結構進行了改進，提出一種“之”字形網絡PredRNN以有效利用橫向和縱向信息。2018年又進一步對此進行了改進提出了PredRNN++，每個時間步和每一層之間有一個可適應的連接同時服務于長時和短時的路線，并提出Gradient?Highway?Unit用來防止長時導致的梯度消失；本發明為了解決長時信息丟失的問題在Encoder-Decoder架構中引入了Attention機制。

傳統的編碼器-解碼器模型需要將所有輸入序列壓縮進一個固定大小的矢量中，這必然會造成大量關鍵信息的丟失從而影響模型性能，此外同等對待所有保留信息也是不合理的；2014年，Bahdanau?D等人將注意力機制嵌入到編碼器-解碼器模型中，實現了從所有輸入序列中學習提取關鍵信息，并強調重要信息和抑制不重要信息；2015年Luong?M提出了局部注意力和全局注意力的概念，全局注意力機制需要所有的隱狀態都參與計算上下文，而局部注意力通過預測位置向量來定位參與計算上下文向量的隱狀態；2017年Chen?L等人將通道注意力機制與空間注意力機制結合提出了SCA-CNN實現圖像注釋；本發明中設計了一種全局通道注意力機制嵌入到ConvLSTM編碼器-解碼器模型中。

發明內容