[發明專利]一種基于殘差卷積網絡的視頻超分辨率重構方法

有效

• 申請號: 202011350139.0
• 申請日: 2020-11-26
• 公開（公告）號: CN112348745B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 王麗;徐立中;嚴錫君;沈潔;李東新;李昌利
• 申請（專利權）人: 河海大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 向文

本發明公開了一種基于殘差卷積網絡的視頻超分辨率重構方法，包括：構建深度學習模型，其包括運動補償、特征提取、重構網絡：訓練深度學習模型：訓練模型中的改進的殘差密集網絡、特征提取網絡和殘差遞歸網絡以獲得最優的權值和偏置，得到能夠實現低分辨率視頻圖像到高分辨率重構的深度學習模型；利用訓練好的深度學習模型進行視頻超分辨率重構。本發明不僅能夠加快模型訓練的速度，還能充分利用先前卷積層的層級特征；利用殘差遞歸網絡作為超分辨重構層，不僅能夠減少訓練參數，還能恢復高頻細節信息；此外，利用感知損失作為額外的損失函數，可以更好地恢復紋理細節和提高圖像重構的視覺效果，提升了圖像空間超分辨重構效果。

技術領域

本發明屬于數字圖像領域，涉及視頻圖像超分辨率重構技術，具體涉及了一種基于殘差卷積網絡的視頻超分辨率重構方法。

背景技術

超分辨率圖像重構(Super-Resolution Reconstruction,SRR)是一種通過信號處理方式來實現圖像分辨率的提升，以及解決成像密度低和圖像噪聲等問題的技術。現階段，由于圖像/視頻圖像采集系統不僅受到傳感器密度和尺寸的限制，還受到目標物體運動、光照變化及信號采集和處理過程中的其他干擾，因此，獲得的視頻空間分辨率較低。通過硬件的改善提高視頻空間分辨率是最為簡單的方法，但是高精度的視頻傳感器往往意味著高昂的成本。因此，為了克服硬件方法帶來的缺陷，提出了利用軟件方法來實現圖像空間分辨率的提升。圖像超分辨率重構是使用低分辨的單幀或多幀序列圖像來重建一張高分辨率圖像，高分辨率指圖像的像素密度盡可能的高，并且盡可能多的包含圖像高頻信息。這樣的圖像可以更好的描述真實目標場景的細節信息，并給予人眼更良好的直觀體驗。由于計算機視覺發展也極大依賴于圖像的采集和分析，因此對低分辨率圖像進行超分辨率重構具有十分重要的理論意義和應用價值。

目前，圖像超分辨率方法主要集中于單幅圖像，對于連續多幀視頻圖像研究較少，雖然可將一些方法直接用于視頻超分辨率重構，但是未能充分利用視頻的幀間互補信息，導致超分辨率重構效果差。

發明內容

發明目的：為了克服現有技術中存在的不足，提供一種基于殘差卷積網絡的視頻超分辨率重構方法，能夠提升圖像空間超分辨重構效果。

技術方案：為實現上述目的，本發明提供一種基于殘差卷積網絡的視頻超分辨率重構方法，包括如下步驟：

S1：構建深度學習模型，其包括如下步驟：

A1：運動補償：

對輸入的低分辨率圖像序列，將連續三幀作為模型的輸入，然后利用改進的殘差密集網絡預測上一幀/下一幀相對于中間幀的光流場，再采用雙線性插值實現中間幀的運動補償得到I_t-1^L′，I_t+1^L′；

A2：特征提取：

將運動補償得到的兩幀圖像以及中間幀圖像作為特征提取模塊的輸入，實現深層特征的提取；

A3：重構網絡：

將步驟A2中提取的深層特征作為重構網絡模塊即殘差遞歸網絡的輸入，最后利用上采樣操作實現圖像的超分辨率重構；

S2：訓練深度學習模型：

將預處理好的訓練集中的低分辨視頻圖像的連續三幀作為深度學習模型的輸入，對應的高分辨率視頻圖像作為目標高分辨圖像訓練模型中的改進的殘差密集網絡、特征提取網絡和殘差遞歸網絡以獲得最優的權值和偏置，得到能夠實現低分辨率視頻圖像到高分辨率重構的深度學習模型。

其中，改進的殘差密集網絡對低分辨視頻圖像序列進行運動補償，生成運動補償圖像，并與中間幀進行改進的殘差密集網絡的損失函數的計算。為了平滑空間位移場，中加入了懲罰項Huber損失