[發明專利]一種多尺度圖像超分辨率重建的方法及裝置

在審

• 申請號: 201811133627.9
• 申請日: 2018-09-27
• 公開（公告）號: CN109064408A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 許靳昌;董遠;白洪亮;熊風燁
• 申請（專利權）人: 北京飛搜科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

本發明實施例提供了一種多尺度圖像超分辨率重建方法及裝置，利用基于殘差結構和重建結構的多尺度圖像超分辨率重建模型，將第一分辨率圖像處理為多尺度的第二分辨率圖像，第二分辨率大于第一分辨率。第一分辨率圖像通過學習殘差，利用更多深層特征，充分恢復高頻細節；第一分辨率圖像經過多層殘差結構之后進入重建結構，重建結構在保持經過的圖像分辨率不變的情況下尺寸變大，從而輸出不同尺度的第二分辨率圖像。針對不同尺度的第二分辨率圖像，只需經過相應層數的殘差結構，而無需針對不同尺度的第二分辨率圖像都經過固定層數的殘差結構，節約了處理時間，在保證圖像清晰度的前提下提高了圖像超分辨率的效率。

技術領域

本發明實施例涉及圖像處理領域，尤其涉及一種多尺度圖像超分辨率重建方法及裝置。

背景技術

傳統的低分辨率圖像的超分辨率重建主要采用插值法，如最近元法、雙線性內插法和三次內插法等。這些方法針對圖像上每個像素點的值是用其周圍幾個點進行計算逼近得到，而這些采用插值法的方法得到的圖像過于平滑，丟失了很多高頻細節，因此導致最終得到的高分辨率圖像不能很好地保留原始圖像的細節。

目前，低分辨率圖像的超分辨率重建也有一些基于深度學習的方法，主要采用大量的高分率圖像建立學習庫產生學習模型，在對低分年率圖像進行恢復的過程中引入由學習模型獲得的先驗知識，以得到圖像的高頻細節。但目前這種基于深度學習的方法僅使用了低分辨率圖像的表層特征，對于低分辨率的深層特征運用較少。

但是，目前的基于深度學習的低分辨率圖像的超分辨率重建方法一般僅能獲得單尺度的高分辨率圖像，若需要獲得多尺度的高分辨率圖像，則需要建立多個不同尺度的超分辨率模型，利用不同尺度的超分辨率模型獲得多尺度的高分辨率圖像，過程繁瑣；或利用單一模型獲得多尺度的高分辨率圖像，不能同時獲取多尺度的高分辨率圖像，效率較低。

發明內容

為了解決目前針對低分辨率圖像的超分辨率重建方法不能同時獲得多尺度的高分辨率圖像的問題，本發明實施例提供了一種克服上述問題或者至少部分地解決上述問題的多尺度圖像超分辨率重建方法。

根據本發明實施例的第一方面，提供了一種多尺度圖像超分辨率重建方法，該方法包括：獲取第一分辨率圖像；將第一分辨率圖像輸入至訓練好的多尺度圖像超分辨率重建模型，輸出多尺度的第二分辨率圖像；多尺度圖像超分辨率重建模型為基于第二分辨率圖像樣本和與其對應的第一分辨率圖像樣本進行訓練后得到，第二分辨率大于第一分辨率；多尺度圖像超分辨率重建模型為基于殘差結構和重建結構的多層神經網絡。

根據本發明實施例的第二方面，提供了一種多尺度圖像超分辨率重建裝置，該裝置包括：獲取模塊，用于獲取第一分辨率圖像；處理模塊，用于將第一分辨率圖像輸入至訓練好的多尺度圖像超分辨率重建模型，輸出多尺度的第二分辨率圖像；多尺度圖像超分辨率重建模型為基于第二分辨率圖像樣本和與其對應的第一分辨率圖像樣本進行訓練后得到，第二分辨率大于第一分辨率；多尺度圖像超分辨率重建模型為基于殘差結構和重建結構的多層神經網絡。

根據本發明實施例的第三方面，提供了一種電子設備，該電子設備包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，處理器調用程序指令能夠執行第一方面的各種可能的實現方式中任一種可能的實現方式所提供的多尺度圖像超分辨率重建方法。

根據本發明實施例的第四方面，提供了一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序使計算機執行第一方面的各種可能的實現方式中任一種可能的實現方式所提供的多尺度圖像超分辨率重建方法。