[發明專利]一種融合注意力機制的多幀視頻超分辨率方法

有效

• 申請號: 202010098595.4
• 申請日: 2020-02-18
• 公開（公告）號: CN111260560B
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 周凡;蘇卓;林謀廣;陳小燕
• 申請（專利權）人: 中山大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 胡楓;曹萬菊

1.一種融合注意力機制的多幀視頻超分辨率方法，其特征在于，包括：

S1，采集視頻數據，并采用視頻增強技術對所述視頻數據進行訓練以生成訓練集及測試集；

S2，構建變形卷積特征對齊模塊及特征重建模塊，并連接所述變形卷積特征對齊模塊及特征重建模塊以構成多幀超分辨率網絡，采用所述訓練集對所述多幀超分辨率網絡進行訓練；所述步驟S2包括：將EDVR模型前端的特征對齊模塊作為變形卷積特征對齊模塊，所述變形卷積特征模塊包括多尺度特征提取單元、特征對齊單元及時序/空間融合單元；構建特征重建模塊，所述特征重建模塊包括多個加入空間及通道注意力機制的殘差塊；將所述變形卷積特征對齊模塊與特征重建模塊連接以構成多幀超分辨率網絡；采用L1損失函數及所述訓練集對所述多幀超分辨率網絡進行訓練；對所述變形卷積特征對齊模塊的時序/空間融合單元進行微調；

S3，構建3D卷積特征對齊模塊，并將所述3D卷積特征對齊模塊加入所述多幀超分辨率網絡中，采用所述訓練集對所述多幀超分辨率網絡進行訓練；所述步驟S3包括：構建3D卷積特征對齊模塊，所述3D卷積特征對齊模塊包括三個3D殘差塊，第一個3D殘差塊與第三個3D殘差塊之間通過相加進行短路連接，每個3D殘差塊均包括一個激活函數層及三個卷積層；將所述3D卷積特征對齊模塊加入所述多幀超分辨率網絡的頭部，并將所述3D卷積特征對齊模塊與特征重建模塊連接；采用L1損失函數及所述訓練集對所述3D卷積特征對齊模塊進行訓練；

S4，構建特征融合模塊，并將所述特征融合模塊加入所述多幀超分辨率網絡中，采用所述訓練集對所述多幀超分辨率網絡進行訓練；所述步驟S4包括：構建特征融合模塊，所述特征融合模塊包括卷積層；將3D卷積特征對齊模塊及變形卷積特征對齊模塊輸出的特征輸入到所述特征融合模塊進行訓練；對所述特征融合模塊及特征重建模塊進行微調；

S5，采用所述訓練集對所述多幀超分辨率網絡進行微調以生成多幀超分辨率模型；

S6，采用所述測試集對所述多幀超分辨率模型進行測試。

2.如權利要求1所述的多幀視頻超分辨率方法，其特征在于，所述步驟S1包括：

采集視頻數據以構成視頻數據集；

將所述視頻數據集中的每個視頻數據切分為多個圖像；

打亂所述視頻數據集中所有圖像的順序，選取部分圖像以構成訓練集，其余圖像構成測試集；

在所述訓練集的每個圖像中選取多個圖像塊，并分別對所述圖像塊進行數據增強處理。

3.如權利要求2所述的多幀視頻超分辨率方法，其特征在于，所述數據增強處理包括加高斯噪聲處理、翻轉處理、顏色抖動處理及旋轉90度處理。

4.如權利要求1所述的多幀視頻超分辨率方法，其特征在于，所述L1損失函數為其中，I表示圖像塊，H表示圖像塊的寬度，W表示圖像塊的長度，表示多幀超分辨率網絡的估計值，x,y表示像素坐標值。

5.如權利要求1所述的多幀視頻超分辨率方法，其特征在于，訓練時，采用學習率調整策略。

6.如權利要求1所述的多幀視頻超分辨率方法，其特征在于，每個3D殘差塊均包括一個激活函數層、一個1×1×1卷積層、一個1×3×3卷積層及一個3×1×1卷積層。

7.如權利要求1所述的多幀視頻超分辨率方法，其特征在于，所述特征融合模塊包括一個1×1卷積層。