[發明專利]一種基于深度學習的高效超分辨率重建方法

有效

• 申請號: 202010049960.2
• 申請日: 2020-01-15
• 公開（公告）號: CN111311488B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 黎海生;魯健恒;黃華鋒;薛帆
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08
• 代理公司: 南寧新途專利代理事務所(普通合伙) 45119
• 代理人: 但玉梅

本發明涉及圖像處理和計算機視覺領域，涉及卷積神經網絡圖像超分辨率重建相關技術，具體為提供了一種基于深度學習的高效超分辨率重建方法，該重建方法于超分辨率重建領域結構中較為簡單高效的FSRCNN網絡結構的基礎上，增加最近鄰插值算法、殘差連接、密集連接以及遷移學習，構成了新的網絡結構?LuNet結構，將該LuNet結構與現有常用超分辨率算法(Bicubic、SCN、SRCNN、FSRCNN)進行性能上的實驗測試，測試結構表明，本發明所構成的LuNet結構在模型參數量保持不變的情況下，具有更高的重建質量，其性能更為完善。

技術領域

本發明涉及圖像處理和計算機視覺領域，涉及卷積神經網絡圖像超分辨率重建相關技術，具體為一種基于深度學習的高效超分辨率重建方法。

背景技術

圖像超分辨率重建，又稱為圖像放大，其目的是將用戶所輸入的低分辨圖像進行放大，同時提升圖像的清晰度，經過圖像的超分辨率重建過程后，低分辨率的圖像變得更清晰。傳統的超分辨率圖像重建方法使用線性插值、雙線性插值、最近鄰插值等插值方法進行。該處理效果雖然速度快，但是會在圖片中形成模糊不清的高頻細節，造成嚴重失真。

隨著卷積神經網絡(CNN)的發展，大量卷積神經網絡應用于超分重建領域，結構復雜的CNN可以通過多個模塊的特征提取與映射完成重建過程，雖然其會形成真實的細節信息，但由于網絡的復雜性，難以實現實時快速的超分辨率重建。結構簡單的CNN可以通過較為粗略的模塊結構，完成特征提取與重建過程，雖然其實時性高，但會缺乏較為完整的高頻細節。

發明內容

鑒于以上內容，有必要提供一種基于深度學習的高效超分辨率重建方法，該方法于超分重建領域結構中較為簡單高效的FSRCNN網絡結構的基礎上，增加最近鄰插值算法、殘差連接、密集連接以及遷移學習，從而使得網絡結構在保持不變的情況下，提高網絡性能，本申請將該網絡結構模型命名為LuNet結構。

為達到上述目的，本發明所采用的技術方案是：

一種基于深度學習的高效超分辨率重建方法，包括以下步驟：

步驟S1：獲取超分辨率常用標準數據集，標準數據集包括“91-imags”、”Set 5”、”Set 14”、”BSDS100”、“manga109”、”DIV2K”以及“Urban100”，對標準數據集中的圖像進行旋轉、偏移、切割以及尺度變換，得到增強后的數據集；

步驟S2：讀取圖像信息，將低分辨率圖像與高分辨率圖像組合成信息對，制作成網絡結構所需的數據集；

步驟S3：在網絡結構中，將輸入圖像進行兩分支處理；其中，第一分支利用最近鄰插值法將低分辨率圖像放大至目標尺寸，形成插值上采樣后的圖像，然后進入到步驟S8處理；第二分支利用卷積網絡模塊進行初步的特征提取，得到初步特征后進入到步驟S4處理；

步驟S4：步驟S3第二分支所提取到的初步特征進一步分為兩支路，其中，第一支路的初步特征使用殘差連接，后進入到步驟S8，第二支路的初步特征直接進入到步驟S5進行密集殘差模塊特征提取；

步驟S5：密集殘差特征提取具體包括如下步驟：

i)將步驟S4中第二支路的初步特征利用1x1卷積層進行特征通道壓縮，再經PReLU激活；

ii)對步驟i)所得的特征分成n個子特征，并對n個子特征采用密集相加的連接方式進行特征提取，其中，提取公式如下：

式中，i,j＝1，2，3...n，F_bi為第i次特征提取模塊所得到的特征，H_i為第i次特征提取模塊，F_b0為子特征，亦為步驟i)所得的特征，F_bj為第j次特征提取模塊所得到的特征；