[發明專利]一種基于殘差卷積網絡的視頻超分辨率重構方法

有效

• 申請號: 202011350139.0
• 申請日: 2020-11-26
• 公開（公告）號: CN112348745B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 王麗;徐立中;嚴錫君;沈潔;李東新;李昌利
• 申請（專利權）人: 河海大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 向文

1.一種基于殘差卷積網絡的視頻超分辨率重構方法，其特征在于，包括如下步驟：

S1：構建深度學習模型，其包括如下步驟：

A1：運動補償：

對輸入的低分辨率圖像序列，將連續三幀作為模型的輸入，然后利用改進的殘差密集網絡預測上一幀/下一幀相對于中間幀的光流場，再采用雙線性插值實現中間幀的運動補償得到I_t-1^L′，I_t+1^L′；

改進的殘差密集網絡是由D個改進的殘差密集塊組成，每個殘差密集塊包含了兩個密集連接的卷積層，每個密集連接的卷積層包含兩個卷積濾波器和一個激活操作；卷積層的層數和每層卷積層中濾波器的個數及大小可根據實際情況進行選擇設置，同理，改進的殘差密集塊的個數也可以根據實際情況進行選擇設置，最后根據光流場，利用雙線性插值算法獲得運動補償的圖像；

A2：特征提取：

將運動補償得到的兩幀圖像以及中間幀圖像作為特征提取模塊的輸入，實現深層特征的提取；

A3：重構網絡：

將步驟A2中提取的深層特征作為重構網絡模塊即殘差遞歸網絡的輸入，最后利用上采樣操作實現圖像的超分辨率重構；

S2：訓練深度學習模型：

將預處理好的訓練集中的低分辨視頻圖像的連續三幀作為深度學習模型的輸入，對應的高分辨率視頻圖像作為目標高分辨圖像訓練模型中的改進的殘差密集網絡、特征提取網絡和殘差遞歸網絡以獲得最優的權值和偏置，得到能夠實現低分辨率視頻圖像到高分辨率重構的深度學習模型；

S3：利用訓練好的深度學習模型進行視頻超分辨率重構。

2.根據權利要求1所述的一種基于殘差卷積網絡的視頻超分辨率重構方法，其特征在于，所述步驟S2中訓練集的預處理過程為：將具有高分辨率的視頻圖像序列進行數據增強，將原始視頻圖像序列和增強后的圖像序列通過高斯模糊和下采樣的過程生成對應的低分辨率圖像序列，存儲相對應的高分辨圖像序列和低分辨率圖像序列數據，作為整個網絡的訓練集。

3.根據權利要求1所述的一種基于殘差卷積網絡的視頻超分辨率重構方法，其特征在于，所述步驟S2中深度學習模型的訓練過程如下：

A1：初始化改進的殘差密集網絡的增益，使用標準高斯分布初始化殘差遞歸網絡權重，偏置均初始化為0；

A2：將連續三幀低分辨率視頻圖像輸入到改進的殘差密集網絡中，生成與中間幀大小一致的運動補償圖像I_t-1^L′，I_t+1^L′，再將運動補償圖像和中間幀級聯作為特征提取網絡的輸入，特征提取網絡輸出的深層特征圖像作為殘差遞歸網絡的輸入，輸出與目標高分辨率視頻圖像大小一致的輸出圖像；

A3：將改進的殘差密集網絡生成的運動補償圖像和中間幀做改進的殘差密集網絡的損失函數殘差遞歸網絡生成的高分辨率圖像和目標高分辨率圖像分別做殘差遞歸網絡的損失函數L_Re和感知網絡的損失函數L_p，依次迭代使得損失函數降低直至趨于穩定；

A4：訓練整個深度學習模型，計算對應網絡的損失函數，同時更新整個網絡的參數，感知網絡參與訓練但不更新自身網絡參數，直到所有損失函數趨于穩定，得到最終的視頻圖像超分辨率模型。

4.根據權利要求2所述的一種基于殘差卷積網絡的視頻超分辨率重構方法，其特征在于，所述步驟S3中訓練好的深度學習模型的目標函數如下：

其中，α、β、γ為網絡平衡參數，用于調整損失函數之間的比重，L_Re為殘差遞歸網絡均方誤差損失函數，為改進的殘差卷積網絡損失函數，為Huber損失，L_p為感知損失。

5.根據權利要求3所述的一種基于殘差卷積網絡的視頻超分辨率重構方法，其特征在于，所述殘差遞歸網絡均方誤差損失函數L_Re為：

其中，r為放大因子，W和H分別為視頻圖像序列的高和寬，和分別為目標高分辨率圖像和網絡生成的高分辨率圖像。