[發明專利]一種多個注意力結合光流的視頻超分辨模型及方法

在審

• 申請號: 202110067283.1
• 申請日: 2021-01-19
• 公開（公告）號: CN112734644A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 儲岳中;喬雨楠;劉恒;張學鋒
• 申請（專利權）人: 安徽工業大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/269;G06N3/04
• 代理公司: 安徽知問律師事務所 34134
• 代理人: 平靜

本發明提供的一種多個注意力結合光流的視頻超分辨模型及方法，屬于模式識別與計算機視覺技術領域。本發明的模型包括特征提取部分、特征處理部分、可變形卷積部分和視頻重建部分。本發明的方法利用雙階段思想分別對微小運動和大型運動進行特征對齊，分別處理微小運動和大型運動的信息，減小了目標幀和參考幀的偏差，充分利用了所有分層的特征信息，利用多個注意力使得視頻空間信息不易丟失，保留了空間信息，增強通道的依賴性和自適應性，并能捕獲長距離依賴實現全局學習。并利用可變形卷積長短時記憶網絡(DLSTM)進行視頻幀融合，防止了恢復的視頻出現抖動和閃爍偽影等現象，保證視頻時序的一致性。

技術領域

本發明涉及模式識別與計算機視覺技術領域，更具體地說，涉及一種多個注意力結合光流的視頻超分辨模型及方法。

背景技術

目前，基于卷積神經網絡的深度學習方法被廣泛應用于在計算機視覺領域。底層視覺中的超分辨技術一直以來都是極具挑戰且受歡迎的計算機視覺任務。根據數據類型分類，目前的超分辨工作分為圖像超分辨和視頻超分辨。視頻超分辨與圖像超分辨的區別主要有兩點，包括：視頻幀對齊和視頻幀融合。其中，視頻幀對齊是因為視頻中存在各種運動信息，所以參考幀和目標幀之間存在偏差，在超分辨中一般是需要利用鄰幀和參考幀做對齊。而視頻中存在運動模糊和場景切換的問題，有效的融合視頻幀可以去除干擾信息。

針對上述的兩點，目前已有的方法一是利用三維卷積，直接利用3D卷積捕捉時域特征的功能，直接做幀間融合；二是利用循環結構提取幀間關系，融合目標幀和參考幀的信息；三是利用融合后的幀間信息預測濾波器參數，再通過濾波的方式做超分辨，獲得自適應的濾波效果。而目前的視頻超分辨的整體框架大致有兩個思路，一是利用三維卷積，但是使用三維卷積會因為多引入一個維度而增加更多的參數，導致計算成本的增加。二是將視頻處理成一幀一幀的圖像，然后按照圖像超分辨的方法來處理，這樣做難以保持視頻的時序一致性，恢復的視頻容易出現抖動現象。

經檢索，中國專利申請號：ZL201911203785.1，申請日為：2019年11月29日，發明名稱為：一種基于深度雙重注意力網絡的視頻超分辨率重建方法，該申請案通過加載級聯的運動補償網絡模型和重建網絡模型，充分利用時空信息特征來實現精確的視頻超分辨率重建；其中的運動補償網絡模型能夠由粗糙到細致地逐步學習光流表示合成相鄰幀的多尺度運動信息；在重建網絡模型中利用雙重注意力機制，并形成一個殘差注意力單元，專注中間信息特征，能夠更好的恢復圖像細節。但該申請案依然為將視頻處理成一幀一幀的圖像來進行超分辨處理，恢復的視頻依然會出現抖動的現象。

發明內容

1.發明要解決的技術問題

鑒于現有的視頻超分辨方法存在計算成本高或視頻恢復后易出現抖動的問題，本發明提供了一種多個注意力結合光流的視頻超分辨模型及方法，利用雙階段特征對齊的思路，使用光流網絡處理微小運動信息，利用可變形卷積的LSTM來處理大型運動信息，減小了目標幀和參考幀偏差的同時，保證了恢復的視頻在時序上的一致性。

2.技術方案

為達到上述目的，本發明提供的技術方案為：

本發明的一種多個注意力結合光流的視頻超分辨模型，該模型包括特征提取部分、特征處理部分、可變形卷積部分和視頻重建部分；視頻幀依次通過四個部分達到超分辨；所述的特征處理部分包括多注意力分支和注意力光流估計分支；所述的多注意力分支包括空間注意力模塊、自注意力模塊、卷積模塊和上采樣模塊；注意力光流估計分支包括空間注意力模塊、通道注意力模塊、光流估計網模塊、卷積模塊和上采樣模塊。

更進一步地，所述的多注意力分支中的模塊按視頻幀經過順序為空間注意力模塊-自注意力模塊-卷積模塊-上采樣模塊-卷積模塊；所述的注意力光流估計分支模塊順序為視頻幀同時經過空間注意力模塊和通道注意力模塊，再進入光流估計網模塊-卷積模塊-上采樣模塊-卷積模塊。