[發明專利]圖像超分辨率重建方法、裝置、終端設備及存儲介質

有效

• 申請號: 201911423965.0
• 申請日: 2019-12-31
• 公開（公告）號: CN113129212B
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 王汝欣;邱亞軍;陶大鵬
• 申請（專利權）人: 深圳市聯合視覺創新科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李娟

本申請提供一種圖像超分辨率重建方法、裝置、終端設備及存儲介質，通過獲取第一分辨率的待處理圖像；對所述待處理圖像進行圖像特征提取，得到初始特征圖；其中，所述初始特征圖中包含所述待處理圖像的高頻圖像信息和低頻圖像信息；采用殘差網絡對所述待處理圖像進行重建學習，所述殘差網絡具有N個塊殘差模塊；當滿足預設條件時，獲取所述殘差網絡輸出的融合特征圖；其中，所述融合特征圖由N個塊殘差模塊分別輸出的第一頻率特征圖融合得到；對所述融合特征圖進行重建得到超分辨率圖像。通過上述技術方案，能夠使得超分辨率圖像重建過程能夠根據圖像中的高低頻圖像信息的特點，實現針對性地對圖像中不同頻率的畫面信息進行準確地重建的技術效果。

技術領域

本發明屬于數字圖像處理技術領域，尤其涉及圖像超分辨率重建方法、裝置、終端設備及存儲介質。

背景技術

目前，超分辨率圖像重建是指將低質量、低分辨率圖像(Low-resolution,LR)進行處理，恢復出高分辨率圖像(High-resolution,HR)，從而使得圖像的更多細節得以體現的一種技術，其在軍事、醫學、公共安全和計算機視覺等方面都具有重要的應用前景。

近年來，基于深度學習的超分辨率重建方法得到了廣泛關注，這類方法通過卷積神經網絡來端到端學習圖像的層級特征，獲得低分辨率圖像與高分辨率圖像之間的映射關系，最終實現改善低分辨率圖像質量的效果。雖然基于卷積神經網絡的圖像超分辨重建方法可以有效地提高圖像的超分辨重建性能。然而，自然場景下的圖像往往由不同的頻率信息組成，每個頻帶包含不同復雜度的圖像結構和紋理信息。目前基于深度學習的超分辨率重建算法沒有將這些頻率不一的紋理與結構信息加以區分，而是統一使用一個復雜網絡來恢復，導致重建后的圖像細節恢復不夠且圖像的邊緣和紋理細節不夠清晰，因此難以滿足實際應用需求。

發明內容

有鑒于此，本發明實施例提供了圖像超分辨率重建方法、裝置、終端設備及存儲介質，以解決現有技術中超分辨率圖像重建后圖像細節恢復不夠清晰的技術問題。

本發明實施例的第一方面提供了一種圖像超分辨率重建方法，包括：

獲取第一分辨率的待處理圖像；

對所述待處理圖像進行圖像特征提取，得到初始特征圖；其中，所述初始特征圖中包含所述待處理圖像的高頻圖像信息和低頻圖像信息；

采用殘差網絡對所述初始特征圖進行分級重建學習；其中，所述殘差網絡具有N個級聯的塊殘差模塊；在第i個塊殘差模塊中對輸入特征圖進行重建學習，包括：將輸入特征圖輸入第i個塊殘差模塊；當i＝1時，所述輸入特征圖為所述初始特征圖，當1＜i≤N時，所述輸入特征圖為第i-1個塊殘差模塊所輸出的第二頻率特征圖；在每一級塊殘差模塊中，對所述輸入特征圖進行放大操作，得到第二分辨率的放大特征圖；對所述放大特征圖進行特征預處理操作，得到第二分辨率的預處理特征圖；將所述預處理特征圖分別輸入第一分支和第二分支；在所述第一分支中對所述預處理特征圖進行卷積處理，得到第一頻率特征圖；在所述第二分支，利用所述預處理特征圖從所述輸入特征圖中提取出高頻圖像信息進行重建，得到第二頻率特征圖；其中，所述第二頻率大于所述第一頻率；

當滿足預設條件時，獲取所述殘差網絡輸出的融合特征圖；其中，所述融合特征圖由N個所述塊殘差模塊分別輸出的第一頻率特征圖融合得到；

對所述融合特征圖進行重建得到待處理圖像的超分辨率圖像。

可選的，所述當滿足預設條件時，獲取所述殘差網絡輸出的融合特征圖，包括：

將N的值設置為預設值，當i＝N時，獲取所述殘差網絡輸出的融合特征圖；

或者，將各個塊殘差模塊輸出的所述第一頻率特征圖進行圖像融合，得到臨時融合特征圖；當所述臨時融合特征圖與目標圖像之間的像素差異度小于預設閾值時，則獲取所述殘差網絡輸出的融合特征圖。