[發明專利]一種融合注意力機制的多幀視頻超分辨率方法

有效

• 申請號: 202010098595.4
• 申請日: 2020-02-18
• 公開（公告）號: CN111260560B
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 周凡;蘇卓;林謀廣;陳小燕
• 申請（專利權）人: 中山大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 胡楓;曹萬菊

本發明公開了一種融合注意力機制的多幀視頻超分辨率方法，包括：采集視頻數據并采用視頻增強技術對視頻數據進行訓練以生成訓練集及測試集；連接變形卷積特征對齊模塊及特征重建模塊以構成多幀超分辨率網絡，采用訓練集對多幀超分辨率網絡進行訓練；將3D卷積特征對齊模塊加入多幀超分辨率網絡中，采用訓練集對多幀超分辨率網絡進行訓練；將特征融合模塊加入多幀超分辨率網絡中，采用訓練集對多幀超分辨率網絡進行訓練；采用訓練集對多幀超分辨率網絡進行微調以生成多幀超分辨率模型；采用測試集對多幀超分辨率模型進行測試。本發明可通過對大數據的分析有效提高超分辨率效果。

技術領域

本發明涉及一種大數據分析技術領域，尤其涉及一種多幀視頻超分辨率方法。

背景技術

超分辨率技術廣泛應用于公共安全監控識別，醫療影像，衛星遙感，虛擬現實等實際場景中。由于可視化媒體顯示技術的發展，圖像和視頻數據迫切的需要在現有的高清晰度顯示器上有更好的顯示或播放效果，這也對超分辨率技術提出了更高的要求。視頻超分辨率任務和單幀超分辨率相比增加了時序信息。按照利用時序信息的不同方式，基于深度學習的視頻超分辨率技術可以大致分為基于多幀級聯的方法，基于3D卷積的方法和基于循環結構的方法。

基于多幀級聯的方法可以看作是單幀超分辨率換成多幀輸入的擴展形式。DUF方法是這類方法的典型代表，它利用多幀特征估計出上采樣濾波器和殘差來實現超分辨率。最近Wang等人提出的EDVR網絡也屬于這類方法，EDVR通過多尺度的變形卷積將臨幀的特征和當前幀對齊，后續再進行特征融合。這種方法雖然利用了多幀特征，但只是把特征級聯到了一起，無法表示幀間的運動信息。

基于3D卷積的方法通過三維卷積核來學習幀間運動信息，Caballero等人首先提出3D卷積可以看作緩慢的幀間信息融合過程。Huang等人通過使用3D卷積提升了BRCN的效果，但他們的工作使用的網絡仍然很淺層。Li等人提出的FSTRN采用了帶跳躍連接的深層3D卷積網絡，為了減小3D卷積的計算量，他們在網絡中使用了可分離的3D卷積。

循環神經網絡擅長處理序列結構，因此基于循環結構的方法通過RNN，LSTM等進行多幀超分辨率。這種方法中最早提出的是雙向RNN，它的網絡容量較小，也沒有后續的幀間對齊步驟。Guo等人通過采用運動補償模塊和卷積LSTM層改進了雙向RNN。最近，Mehdi等人提出了一個多輸入多輸出的RNN超分網絡，該網絡使用前一幀的超分結果來估計后續幀的超分結果，遞歸反饋層的連接能使相鄰幀之間保持平滑，從而得到更好的結果。

多幀特征的對齊和融合是視頻超分辨率的難點所在。視頻中場景，運動復雜，甚至經常面臨場景切換，這就需要超分網絡自適應的處理這種情況，現存的三種方法在進行幀間對齊時都存在一定的缺陷。

因此，隨著可視媒體的發展，視頻超分辨率的要求越來越高，迫切需要一種效果更好的視頻超分辨率方法。

發明內容

本發明所要解決的技術問題在于，提供一種融合注意力機制的多幀視頻超分辨率方法，可通過對大數據進行分析以構建多幀超分辨率模型，從而提高超分辨率效果。

為了解決上述技術問題，本發明提供了一種融合注意力機制的多幀視頻超分辨率方法，包括：S1，采集視頻數據，并采用視頻增強技術對所述視頻數據進行訓練以生成訓練集及測試集；S2，構建變形卷積特征對齊模塊及特征重建模塊，并連接所述變形卷積特征對齊模塊及特征重建模塊以構成多幀超分辨率網絡，采用所述訓練集對所述多幀超分辨率網絡進行訓練；S3，構建3D卷積特征對齊模塊，并將所述3D卷積特征對齊模塊加入所述多幀超分辨率網絡中，采用所述訓練集對所述多幀超分辨率網絡進行訓練；S4，構建特征融合模塊，并將所述特征融合模塊加入所述多幀超分辨率網絡中，采用所述訓練集對所述多幀超分辨率網絡進行訓練；S5，采用所述訓練集對所述多幀超分辨率網絡進行微調以生成多幀超分辨率模型；S6，采用所述測試集對所述多幀超分辨率模型進行測試。