[發明專利]一種多尺度圖像超分辨率重建的方法及裝置

在審

• 申請號: 201811133627.9
• 申請日: 2018-09-27
• 公開（公告）號: CN109064408A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 許靳昌;董遠;白洪亮;熊風燁
• 申請（專利權）人: 北京飛搜科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

1.一種多尺度圖像超分辨率重建方法，其特征在于，包括：

獲取第一分辨率圖像；

將所述第一分辨率圖像輸入至訓練好的多尺度圖像超分辨率重建模型，輸出多尺度的第二分辨率圖像，所述多尺度圖像超分辨率重建模型為基于第二分辨率圖像樣本和與其對應的第一分辨率圖像樣本進行訓練后得到，所述第二分辨率大于所述第一分辨率；所述多尺度圖像超分辨率重建模型為基于殘差結構和重建結構的多層神經網絡。

2.根據權利要求1所述的一種多尺度圖像超分辨率重建方法，其特征在于，每層所述重建結構的輸入為上一層殘差結構的輸出，每層所述重建結構的輸出為單一尺寸的第二分辨率圖像。

3.根據權利要求1所述的一種多尺度圖像超分辨率重建方法，其特征在于，所述多尺度圖像超分辨率重建模型的訓練數據的獲取包括以下步驟：

通過OpenCV中的下采樣函數對所述第二分辨率圖像樣本進行下采樣，加入噪聲，并進行JPEG壓縮，得到與所述第二分辨率圖像樣本對應的第一分辨率圖像樣本；

將所述第二分辨率圖像樣本任意裁剪第二像素尺寸的區域，并裁剪所述第一分辨率圖像樣本中與所述第二像素尺寸的區域對應的第一像素尺寸的區域；所述第二分辨率圖像樣本的尺寸和所述第一分辨率圖像樣本的尺寸之比值與所述第二像素尺寸和所述第一像素尺寸之比值相同；

將所述第一像素尺寸的區域和所述第二像素尺寸的區域作為所述訓練數據。

4.根據權利要求1所述的一種多尺度圖像超分辨率重建方法，其特征在于，上一層殘差結構的輸出與所述上一層殘差結構的輸入之和為下一層殘差結構的輸入。

5.根據權利要求1所述的一種多尺度圖像超分辨率重建方法，其特征在于，所述殘差結構包括順序進行的第一卷積層、非線性激活函數層和第二卷積層。

6.根據權利要求1所述的一種多尺度圖像超分辨率重建方法，其特征在于，所述重建結構包括順序進行的第三卷積層、超像素層和第四卷積層，所述超像素層用于擴大所述第三卷積層的輸出對象的尺寸。

7.根據權利要求1所述的一種多尺度圖像超分辨率重建方法，其特征在于，輸出為第二尺度的第二分辨率圖像對應的重建結構經過的殘差結構的層數多于輸出為第一尺度的第二分辨率圖像對應的重建結構經過的殘差結構的層數，所述第二尺度大于所述第一尺度。

8.一種多尺度圖像超分辨率重建裝置，其特征在于，包括：

獲取模塊，用于獲取第一分辨率圖像；

處理模塊，用于將所述第一分辨率圖像輸入至訓練好的多尺度圖像超分辨率重建模型，輸出多尺度的第二分辨率圖像；所述多尺度圖像超分辨率重建模型為基于第二分辨率圖像樣本和與其對應的第一分辨率圖像樣本進行訓練后得到，所述第二分辨率大于所述第一分辨率；所述多尺度圖像超分辨率重建模型為基于殘差結構和重建結構的多層神經網絡。

9.一種電子設備，包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至7任一項所述多尺度圖像超分辨率重建方法。

10.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述多尺度圖像超分辨率重建方法。