[發明專利]一種基于生成對抗網絡的超分辨率重建方法

在審

• 申請號: 202110431936.X
• 申請日: 2021-04-21
• 公開（公告）號: CN113129214A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 姬國慶
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/46;G06N3/08
• 代理公司: 深圳紫晴專利代理事務所(普通合伙) 44646
• 代理人: 郭清秀

1.一種基于生成對抗網絡的超分辨率重建方法，其特征在于，包括以下步驟；

第一步，輸入圖像，將原有的低分辨率的圖像輸入到生成對抗網絡中生成高分辨率的圖像；

第二步，多尺度特征提取，提取高分辨率圖像的亮度、顏色、方向三個特征，作為計算顯著度的底層特征，并對特征圖進行兩個尺度的采樣，得到三個尺度的特征圖，得到三個亮度特征圖、九個顏色特征圖和十二個方向特征圖；

第三步，分塊對比計算，將同一尺度下的特征圖分解為一系列7x7的圖像塊，以圖像塊為單位，分別計算出亮度對比圖，顏色對比圖和方向對比圖；

第四步，生成多尺度顯著圖，計算圖像塊的權值，得到每個尺度下的特征顯著圖，即為顏色顯著圖、亮度顯著圖和方向顯著圖；

第五步，多尺度融合，將三個尺度的顯著圖每個都進行最近鄰差值放大到原始圖像大小，融合成最終的三個特征顯著圖，然后將三幅特征顯著圖線性相加得到最后的顯著圖；

第六步，提取顯著區域，提取出顯著性最大的區域，即顯著區域。

2.根據權利要求1所述的一種基于生成對抗網絡的超分辨率重建方法，其特征在于，所述第一步中，生成對抗網絡包括生成器和判決器，生成對抗網絡中的生成器生成與訓練樣本相似的新樣本，生成器其作用是抓取數據分布特征，生成對抗網絡中的判決器作為分類器，其作用是對輸入數據的真實性進行判斷，估計圖片來自訓練數據還是來自于生成器生成的圖片，通過利用生成器生成對應數據，然后將真實樣本數據和生成的樣本數據送入到判決器中進行真假判斷，進而將分辨率低的圖像轉化為高分辨率圖像。

3.根據權利要求1所述的一種基于生成對抗網絡的超分辨率重建方法，其特征在于，所述第二步中，對于顏色特征，采用RGB顏色空間，得到R、G、B三個顏色通道的三幅特征圖。

4.根據權利要求1所述的一種基于生成對抗網絡的超分辨率重建方法，其特征在于，所述第二步中，對于方向特征，采用Gabor濾波器對灰度圖像進行0°、45°、90°、135°的空間濾波，得到四幅方向特征圖，然后對每-一個特征圖表示為三層高斯金字塔，再對特征圖進行濾波，濾波后的圖像進行隔行隔列的采樣，第一層是特征圖，對特征圖進行兩次的高斯金字塔分解，得到大小分別為特征圖的1/2和1/4的不同分辨率的圖像。

5.根據權利要求根據權利要求4所述的一種基于生成對抗網絡的超分辨率重建方法，其特征在于，所述第二步中，采用3x3的高斯濾波器對特征圖進行濾波。

6.根據權利要求1所述的一種基于生成對抗網絡的超分辨率重建方法，其特征在于，所述第三步中，以圖像塊為單位，計算得到的對比圖共九幅，分別為亮度對比圖三幅、顏色對比圖三幅和方向對比圖三幅。

7.根據權利要求1所述的一種基于生成對抗網絡的超分辨率重建方法，其特征在于，所述第四步中，由于計算得到三個特征的對比圖后，根據人類的視覺注意機制，處于中心位置的圖像塊較處于邊緣位置的圖像塊更容易引起觀察者的注意，計算各圖像塊與圖像中心位置的距離，作為計算圖像塊顯著值的權值。

8.根據權利要求1所述的一種基于生成對抗網絡的超分辨率重建方法，其特征在于，所述第五步中，得到的不同分辨率下三個特征的顯著圖共三幅，分別為亮度顯著圖一幅、顏色顯著圖一幅和方向顯著圖一幅。

9.根據權利要求1所述的一種基于生成對抗網絡的超分辨率重建方法，其特征在于，所述第六步中，提取出顯著性最大的區域采用對顯著圖將顯著圖進行自適應閾值分割方法。

10.根據權利要求1所述的一種基于生成對抗網絡的超分辨率重建方法，其特征在于，所述第一步中，生成對抗網絡的軟件運行環境為64位Ubuntu 16.04.4操作系統平臺上，基于TensorFlow-GPU 1.4.0深度學習框架并使用Python 3.5.2腳本語言構建文本圖像超分辨率重建模型，使用一塊NVIDIAGTX 1070Ti GPU完成模型的訓練。