[發明專利]圖像超分辨率重建方法、裝置、設備及存儲介質

在審

• 申請號: 202110889100.4
• 申請日: 2021-08-04
• 公開（公告）號: CN113344793A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 陳亞瑞;丁文強;楊劍寧;張志遠;徐肖陽;閆瀟寧
• 申請（專利權）人: 深圳市安軟科技股份有限公司;深圳市安軟慧視科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 深圳君信誠知識產權代理事務所(普通合伙) 44636
• 代理人: 劉偉

本申請公開了一種圖像超分辨率重建方法、裝置、設備及存儲介質，所述方法中，包括獲取由高分辨率圖像HR和由所述高分辨率圖像HR進行下采樣得到的低分辨率圖像LR構成的訓練集；構建包括生成器網絡和判別器網絡的生成對抗網絡模型，將所述訓練集輸入至所述生成對抗網絡模型中，利用損失函數對所述生成對抗網絡模型進行訓練，該損失函數包括所述生成器網絡的損失函數，所述生成器網絡的損失函數包括內容損失函數和對抗損失函數，所述內容損失函數包括VGG網絡損失函數，光照損失函數和結構相似性損失函數，所述生成器網絡的損失函數的表達式為：。本方案能夠使得生成對抗網絡模型對光照強度更加敏感，以及使得生成的圖像視覺質量更好。

技術領域

本申請涉及圖像處理技術領域，尤其涉及一種圖像超分辨率重建方法、裝置、設備及存儲介質。

背景技術

單幅圖像的超分辨率(SISR)旨在從低分辨率圖像(LR)恢復超分辨率圖像(SR)，以此來得到近似真實的高分辨率圖像（HR）。這在許多領域中直接應用，如醫學成像、衛星成像、人臉識別和視頻監控等。目前，人們對圖像的要求越來越高，尤其是清晰度方面。單純從硬件方面提高圖像清晰度不僅成本較高且技術上也達到一定的瓶頸，同時在圖像存儲及夜間光照不足情況下也會產生低分辨率的圖像。從軟件方面提高圖像分辨率，一定程度上克服了上述不足。因此，圖像超分辨率重建成為研究熱點之一。

目前超分辨率重建的方法主要有基于深度學習的超分辨率重構方法。Dong等首先提出了一種基于深度學習的方法——基于卷積神經網絡的超分方法(SRCNN)，證明卷積神經網絡可以被有效應用于端到端的學習LR到SR的映射。Shi等人提出了亞像素卷積的方法(ESPCN)，直接在低分辨率圖像LR上進行特征提取，通過亞像素卷積層將特征圖像進行重新排列，得到超分辨率圖像。

Ledig等把生成對抗網絡(Generative Adversarial Network，GAN)應用于超分辨率重建，提出了基于生成對抗網絡的超分辨率(Super-Resolution Using a GenerativeAdversarial Network，SRGAN)算法，雖然這種博弈式的優化SRGAN能夠生成高質量的圖像，但是細節效果較差，并且對光照變化的敏感度不夠，往往無法很好的解決低光照下單一圖像超分辨率問題。

發明內容

本申請實施例提供一種圖像超分辨率重建方法、裝置、設備及存儲介質，能夠使得生成對抗網絡模型對光照強度更加敏感，解決了低光照下單一圖像超分辨率問題，并且可以使得生成的圖像視覺質量更好，更加自然。

為了解決上述技術問題，本申請一方面提供一種基于生成對抗網絡的圖像超分辨率重建方法，包括：

獲取由高分辨率圖像HR和由所述高分辨率圖像HR進行下采樣得到的低分辨率圖像LR構成的訓練集；

構建包括生成器網絡和判別器網絡的生成對抗網絡模型，所述生成器網絡用于輸入所述低分辨率圖像LR，生成趨近于所述高分辨率圖像HR的超分辨率圖像SR，所述判別器網絡用于區分所述高分辨率圖像HR和所述超分辨率圖像SR；

將所述訓練集輸入至所述生成對抗網絡模型中，利用損失函數對所述生成對抗網絡模型進行訓練，當所述生成對抗網絡模型收斂后停止訓練，保存訓練好的所述生成對抗網絡模型，其中所述損失函數包括所述生成器網絡的損失函數，所述生成器網絡的損失函數包括內容損失函數和對抗損失函數，所述內容損失函數包括VGG網絡損失函數，光照損失函數和結構相似性損失函數，所述生成器網絡的損失函數的表達式為：；

將待重建的低分辨率測試圖像輸入到訓練好的所述生成對抗網絡模型，以得到重建后的高分辨率目標圖像。

更進一步地，所述光照損失函數的表達式為：

；

其中，；

；