[發明專利]一種融合多感受野和密集殘差注意的超分辨率重建方法

在審

• 申請號: 202110406549.0
• 申請日: 2021-04-15
• 公開（公告）號: CN112950480A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 王星;陳海濤;陳吉
• 申請（專利權）人: 遼寧工程技術大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08;G06N3/04
• 代理公司: 北京華夏正合知識產權代理事務所(普通合伙) 11017
• 代理人: 韓登營;韓惠琴

本發明屬于數字圖像處理技術領域，尤其涉及一種融合多感受野和密集殘差注意的超分辨率重建方法，首先通過退化模型建立對應數據集；根據預處理后的數據集，通過構建多感受野超分辨率生成對抗網絡(MRFAGAN)獲取超分圖像；MRFGAN由生成器和判別器構成；其中，生成器包括淺層特征提取模塊、深層特征提取模塊、圖像特征映射模塊、圖像重建模塊，負責生成超分辨率圖像；判別器是由卷積層堆積而成，負責判別超分辨率圖像是否為真實的高分辨率；對訓練后的圖像得到的超分辨率圖像生成器固定參數，得到超分重建模型。本發明同時使用生成對抗網絡的超分辨率模型、多感受野和密集殘差注意構建超分辨率重建的模型，能夠幫助顯著地提升圖像自身分辨率。

技術領域

本發明屬于數字圖像處理技術領域，尤其涉及一種融合多感受野和密集殘差注意的超分辨率重建方法。

背景技術

目前，隨著科學技術的持續發展，互聯網上獲取的視覺圖像的分辨率普遍較低這些低分辨率的圖像(low resolution image，LR)難以滿足特定場景的需求和用戶視覺需要。把LR圖像通過某種算法高效快速地轉換成視覺質量更加清晰的高分辨率圖像(highresolution image，HR)，這一過程通常被稱為圖像的超分辨率重建(super resolution，SR)。SR廣泛應用于衛星成像、醫學成像、安全和監視、圖像生成、煤巖識別等計算機視覺任務和圖像處理領域。當前圖像超分辨率重建主要分為三類：基于插值的圖像超分辨率重建方法、基于重建的圖像超分辨率重建方法以及基于學習的圖像超分辨率重建方法。對于當前圖像超分辨率重建任務，模型可以有效地恢復低分辨率圖像的細節和紋理，并使結果既逼真又具有較高的感知質量。

圖像超分辨率重建任務，主要面臨以下幾個問題：

(1)模型參數大、內存占用大，提升了模型的訓練難度導致需要龐大的訓練集和訓練時間。

(2)從LR圖像的單一尺度卷積學習特征時，受限于感受野無法聯系其他尺度的圖像特征，易導致特征利用率低，難以恢復精細的高頻細節。

(3)自從Dong等人提出SRCNN的開創性工作以來，深度卷積神經網絡(CNN)方法帶來了繁榮的發展。各種網絡體系結構設計和訓練策略不斷提高SR性能，尤其是峰值信噪比(PSNR)值。然而，這些面向最小化均方誤差(MSE)的方法往往會在沒有足夠的高頻細節的情況下輸出過平滑的結果，因為PSNR度量從根本上與人類觀察者的主觀評價不符。

另外，傳統的基于PSNR方法的超分辨率重建方法在獲得良好的PSNR指標的同時，忽視了圖像本身的視覺質量。傳統的基于GAN方法的超分辨率重建方法只考慮單一尺度的特征提取、不同通道特征同等對待，忽視了多個尺度以及不同通道間的聯系，難以恢復精細細節。

因此，本申請有必要提供一種融合多感受野和密集殘差注意的超分辨率重建方法，以解決上述現有技術存在的問題。

發明內容

基于以上現有技術的不足，本發明所解決的技術問題在于提供一種融合多感受野和密集殘差注意的超分辨率重建方法，通過使用生成對抗網絡的思想，結合多感受野模塊和密集殘差通道注意模塊構建了超MRFGAN超分重建模型，一方面，能夠幫助顯著地提升圖像自身分辨率；另一方面，可以加強采集到的圖像質量，滿足人們日益提高的對圖像質量的要求。

為了解決上述技術問題，本發明通過以下技術方案來實現：

一種融合多感受野和密集殘差注意的超分辨率重建方法，具體包括以下步驟：

步驟1、首先需要對訓練集數據預處理，通過退化模型建立對應數據集；

步驟2、根據預處理后的數據集，通過構建多感受野超分辨率生成對抗網絡(MRFAGAN)獲取超分圖像；MRFGAN由生成器和判別器構成；其中，生成器包括淺層特征提取模塊、深層特征提取模塊、圖像特征映射模塊、圖像重建模塊，負責生成超分辨率圖像；判別器是由卷積層堆積而成，負責判別超分辨率圖像是否為真實的高分辨率；