[發(fā)明專利]一種基于無監(jiān)督生成對(duì)抗網(wǎng)絡(luò)的模糊圖像復(fù)原方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110215750.0
• 申請(qǐng)日: 2021-02-26
• 公開（公告）號(hào): CN112884671A
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 徐劍;董文德;徐貴力
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于無監(jiān)督生成對(duì)抗網(wǎng)絡(luò)的模糊圖像復(fù)原方法，其特征在于，包括如下步驟：

步驟1：構(gòu)建無監(jiān)督數(shù)據(jù)集，包括模糊域圖像集S₁、清晰域圖像集S₂；

步驟2：在生成對(duì)抗網(wǎng)絡(luò)框架下，設(shè)置兩條方向互逆的生成路徑，其中，A方向包括輸入模糊圖像-生成清晰圖像-重構(gòu)模糊圖像；B方向包括輸入清晰圖像-生成模糊圖像-重構(gòu)清晰圖像，利用生成器網(wǎng)絡(luò)G_A生成清晰圖像，生成器網(wǎng)絡(luò)G_B生成模糊圖像；

步驟3：在A方向中引入清晰域判別器D_A，在B方向中引入模糊域判別器D_B，并配合對(duì)應(yīng)的生成器用于對(duì)抗訓(xùn)練；

步驟4：引入L2像素重構(gòu)損失以及感知損失，配合步驟3中對(duì)抗損失構(gòu)建網(wǎng)絡(luò)的整體目標(biāo)損失函數(shù)，并隨機(jī)初始化網(wǎng)絡(luò)參數(shù)；

步驟5：利用無監(jiān)督數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行前向計(jì)算，得到生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)輸出的損失值；

步驟6：固定判別器的網(wǎng)絡(luò)參數(shù)，利用優(yōu)化器更新生成器網(wǎng)絡(luò)的參數(shù)；

步驟7：固定生成器的網(wǎng)絡(luò)參數(shù)，利用優(yōu)化器更新判別器的網(wǎng)絡(luò)參數(shù)；

步驟8：循環(huán)執(zhí)行步驟5、步驟6和步驟7，直至步驟5中的損失值收斂，得到生成器網(wǎng)絡(luò)參數(shù)的局部最優(yōu)解，解算模糊圖像的復(fù)原圖像估計(jì)值。

2.根據(jù)權(quán)利要求1所述的一種基于無監(jiān)督生成對(duì)抗網(wǎng)絡(luò)的模糊圖像復(fù)原方法，其特征在于，所述步驟2的G_A結(jié)構(gòu)中添加用于拓寬網(wǎng)絡(luò)寬度的inception模塊、用于加深網(wǎng)絡(luò)深度的res-block殘差模塊以及用于生成金字塔結(jié)構(gòu)的FPN模塊。

3.根據(jù)權(quán)利要求2所述的一種基于無監(jiān)督生成對(duì)抗網(wǎng)絡(luò)的模糊圖像復(fù)原方法，其特征在于，所述G_A網(wǎng)絡(luò)構(gòu)建步驟具體如下：

步驟2.1：采用在ImageNet上預(yù)訓(xùn)練后的Inception-resnet-v2網(wǎng)絡(luò)結(jié)構(gòu)以及其訓(xùn)練后的參數(shù)作為特征抽取的骨干網(wǎng)絡(luò)，進(jìn)行遷移學(xué)習(xí)，其中，Inception-resnet-v2網(wǎng)絡(luò)結(jié)構(gòu)中包含inception模塊以及res-block模塊；

步驟2.2：將Inception-resnet-v2網(wǎng)絡(luò)的特征輸出從底層到頂層進(jìn)行截取，構(gòu)成金字塔的5個(gè)層級(jí)，分別為enc0，enc1，enc2，enc3，enc4；除enc0外，其余各層級(jí)橫向連接并在通道上串接，之后與enc0再疊加，通過上采樣以及卷積操作得到尺寸、通道數(shù)與輸入圖像相同的學(xué)習(xí)圖像；

步驟2.3：通過全局殘差學(xué)習(xí)，將輸入圖像與學(xué)習(xí)圖像在通道上進(jìn)行疊加，得到最終的生成清晰圖像。

4.根據(jù)權(quán)利要求1所述的一種基于無監(jiān)督生成對(duì)抗網(wǎng)絡(luò)的模糊圖像復(fù)原方法，其特征在于，所述步驟2中，基于res-6-blocks網(wǎng)絡(luò)改進(jìn)得到生成器G_B，其網(wǎng)絡(luò)結(jié)構(gòu)包括特征提取卷積部分、深度堆積殘差塊部分、反卷積部分。

5.根據(jù)權(quán)利要求4所述的一種基于無監(jiān)督生成對(duì)抗網(wǎng)絡(luò)的模糊圖像復(fù)原方法，其特征在于，所述特征提取卷積部分由兩個(gè)卷積模塊組成，得到的圖像的尺寸縮小4倍，通道數(shù)增加4倍，該部分的卷積模塊由1個(gè)卷積層、1個(gè)歸一化層以及1個(gè)激活函數(shù)層ReLU函數(shù)組成，其中，卷積層的步長(zhǎng)為2，在特征提取部分之前，還設(shè)有一個(gè)卷積輸入層，將輸入圖像的通道數(shù)調(diào)整到特征提取部分的輸入通道數(shù)；

深度堆積殘差塊部分由6個(gè)res-block堆疊組成，每個(gè)res-block由2個(gè)卷積層、2個(gè)歸一化層以及1個(gè)激活函數(shù)層ReLU函數(shù)組成；

反卷積部分用于增加圖像的尺寸以及減少通道數(shù)，由2個(gè)反卷積模塊組成，輸出通道數(shù)、尺寸與原始輸入圖像相同的輸出圖像，通過tanh函數(shù)將像素值限制在(0,1)區(qū)間中作為最終的重建圖像，所述反卷積模塊由1個(gè)反卷積層、1個(gè)歸一化層以及1個(gè)激活函數(shù)層ReLU函數(shù)組成，其中，反卷積層的步長(zhǎng)為1/2，反卷積部分與特征提取部分的網(wǎng)絡(luò)結(jié)構(gòu)高度對(duì)稱。