[發明專利]一種基于多尺度生成對抗網絡的圖像超分辨率重建方法

有效

• 申請號: 201810844163.6
• 申請日: 2018-07-27
• 公開（公告）號: CN109146784B
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 黃忠東;姜代紅;鞠訓光;戴磊;孫天凱;劉其開
• 申請（專利權）人: 徐州工程學院
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京淮海知識產權代理事務所(普通合伙) 32205
• 代理人: 張旭

1.一種基于多尺度生成對抗網絡的圖像超分辨率重建方法，其特征在于，具體步驟為：

(1)搭建多尺度生成對抗網絡結構及完成其生成器的預訓練：

A、多尺度生成對抗網絡的生成器由多個單尺度特征提取子網絡組成，單尺度特征提取子網絡采用多個SENet模塊組成；

B、確定目標損失函數，完成生成器的預訓練過程，提高多尺度生成對抗網絡的收斂速度；

(2)多尺度生成對抗網絡對圖像超分辨率重建：

Ⅰ、將預重建的LR圖像輸入到第一個單尺度特征提取子網絡的上采樣層，單尺度特征提取子網絡中的多個SENet模塊對LR圖像依次進行高頻信息的特征提取，最終該單尺度特征提取子網絡輸出處理后的特征圖；

Ⅱ、將第二個單尺度特征提取子網絡的上采樣層接收第一個單尺度特征提取子網絡輸出的特征圖，然后第二個單尺度特征提取子網絡重復步驟Ⅰ輸出特征圖；

Ⅲ、后續多個單尺度特征提取子網絡依次重復步驟Ⅰ和Ⅱ，直至最后一個單尺度特征提取子網絡輸出代表高頻信息的特征圖，即為重構層，然后該特征圖與經過上采樣處理的LR圖像進行像素加權，最終得到圖像超分辨率重建的HR圖像。

2.根據權利要求1所述的一種基于多尺度生成對抗網絡的圖像超分辨率重建方法，其特征在于，所述步驟B的具體步驟為：

a：將HR圖像下采樣對應為若干個LR圖像，用于預訓練所有由SENet模塊組成的單尺度特征提取子網絡，該訓練過程采用均方差損失作為其目標函數；

b：將多個不同尺度的單尺度特征提取子網絡搭建為多層金字塔式生成對抗網絡，即MSGAN生成器，用于完成LR圖像到HR圖像的映射；之后采用均方差損失對生成對抗網絡進行調整，使生成對抗網絡的整體參數達到局部最優；均方差損失的目標函數具體為：

其中，yⁱ和xⁱ為第i個LR和HR訓練集對，F(yⁱ；θ)為預測的高分辨率結果；

c：搭建鑒別器結構，輸入生成的HR圖像和真實HR的圖像訓練鑒別器，根據鑒別器的對抗損失，更新鑒別器網絡；對抗損失的目標函數為：MSGAN生成器預學習出LR圖像到HR圖像的映射，鑒別器判斷輸入的真偽，因此，關于對抗損失表示為：

l_adv(G,D)＝E_y,x～p(y,x)[log D(y,x)]+E_y～p(y)[log(1-D(y,G(y)))]

其中，為預測的HR圖像輸出，y，x分別表示LR圖像和HR圖像訓練對，G為MSGAN生成器，D為鑒別器；

d：將對抗損失與均方差損失進行加權，作為生成器總的損失，更新生成器網絡的參數；加權后的鑒別器和生成器的損失分別定義如下：

l_d＝l_adv

l_g＝l_adv+λl_mse；

其中，λ為加權系數；

e：重復步驟c和步驟d，直到訓練迭代次數達到初始設置的迭代次數。

3.根據權利要求1所述的一種基于多尺度生成對抗網絡的圖像超分辨率重建方法，其特征在于，所述每個單尺度特征提取子網絡對圖像處理過程為：設定LR輸入圖像為y，期望得到的HR圖像為x；

假設第i個尺度對應的輸入特征圖為y_i-1，則子網絡經過上采樣得到的特征圖可表示為：

其中，D_u(·)表示的是上采樣卷積函數；輸出的特征圖經過d個SENet模塊，輸出表示為：

其中，和為第d個SENet模塊的輸入和輸出特征圖，為預測的高分辨率輸出。

4.根據權利要求2所述的一種基于多尺度生成對抗網絡的圖像超分辨率重建方法，其特征在于，所述鑒別器由三個卷積層和兩個SENet模塊以及一個全連接組成。