[發(fā)明專(zhuān)利]一種基于二階段注意力機(jī)制GAN網(wǎng)絡(luò)圖像修復(fù)算法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110053892.1
• 申請(qǐng)日: 2021-01-15
• 公開(kāi)（公告）號(hào): CN112801895B
• 公開(kāi)（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 王彩玲;張曉峰;蔣國(guó)平
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京郵電大學(xué)
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 陳國(guó)強(qiáng)

1.一種基于二階段注意力機(jī)制GAN網(wǎng)絡(luò)圖像修復(fù)算法，其特征在于，包括以下步驟：

步驟(1)：搭建基于GPU版本的Pytorch深度學(xué)習(xí)框架運(yùn)行環(huán)境；

步驟(2)：準(zhǔn)備數(shù)據(jù)集，每個(gè)數(shù)據(jù)集都有真實(shí)的圖片和mask；

步驟(3)：搭建運(yùn)行圖像到圖像的深度神經(jīng)網(wǎng)絡(luò)，所述深度神經(jīng)網(wǎng)絡(luò)為二階段生成性對(duì)抗網(wǎng)絡(luò)模型，兩個(gè)階段的網(wǎng)絡(luò)都有生成器和判別器；

所述深度神經(jīng)網(wǎng)絡(luò)的第一階段的生成器為結(jié)構(gòu)生成器，第二階段的生成器為內(nèi)容生成器；生成器包括編碼器和解碼器；

所述搭建運(yùn)行圖像到圖像的深度神經(jīng)網(wǎng)絡(luò)，包括以下兩個(gè)階段：

第一階段：在結(jié)構(gòu)生成器中輸入遮擋住的真實(shí)圖像X∈R^H×W×C，黑白掩碼M∈R^H×W×1，遮擋住的光滑結(jié)構(gòu)S_m∈R^H×W×C進(jìn)行對(duì)抗訓(xùn)練，其中，R代表空間，W代表寬度，H代表高度，C代表通道數(shù)；結(jié)構(gòu)生成器中的編碼器會(huì)對(duì)輸入的遮擋住的真實(shí)圖像X經(jīng)過(guò)三次下采樣接著跟著注意力模塊，同時(shí)再經(jīng)過(guò)兩個(gè)空洞卷積和殘差塊，再通過(guò)轉(zhuǎn)置卷積進(jìn)行上采樣，最后解碼器輸出生成修復(fù)出的光滑結(jié)構(gòu)S_gen，該過(guò)程表示為S_gen＝G(I_m,S_m,M)，I_m代表被遮擋住的輸入；

第二階段：內(nèi)容生成器與結(jié)構(gòu)生成器相比增加兩個(gè)最后兩次上采樣操作之前的殘留塊，并且把第一階段中的注意力模塊換成SE模塊；將第一階段生成的光滑結(jié)構(gòu)S_gen與圖像X結(jié)合并填充黑白掩碼M，再輸入到第二個(gè)生成器進(jìn)行對(duì)抗訓(xùn)練；內(nèi)容生成器的編碼器以8倍標(biāo)度對(duì)輸入進(jìn)行下采樣跟著注意力模塊；然后兩個(gè)殘差塊進(jìn)一步進(jìn)行編碼器的輸出以捕獲多尺度信息；最后，由三個(gè)最近鄰插值上采樣，將殘差塊的輸出上采樣至所需的分辨率，生成外擴(kuò)出的圖像其中W′是所生成圖像的所需寬度；

步驟(4)：進(jìn)行泛化實(shí)驗(yàn)。

2.根據(jù)權(quán)利要求1所述的一種基于二階段注意力機(jī)制GAN網(wǎng)絡(luò)圖像修復(fù)算法，其特征在于，步驟(1)中所述運(yùn)行環(huán)境中包含第三方運(yùn)行庫(kù)，第三方運(yùn)行庫(kù)包括Numpy、OpenCV。

3.根據(jù)權(quán)利要求1所述的一種基于二階段注意力機(jī)制GAN網(wǎng)絡(luò)圖像修復(fù)算法，其特征在于，步驟(2)中所述數(shù)據(jù)集包括Paris-streetview數(shù)據(jù)集和Beach數(shù)據(jù)集。

4.根據(jù)權(quán)利要求1所述的一種基于二階段注意力機(jī)制GAN網(wǎng)絡(luò)圖像修復(fù)算法，其特征在于，在所述兩個(gè)階段的訓(xùn)練過(guò)程中，判別器會(huì)接收真數(shù)據(jù)和生成器產(chǎn)生的假數(shù)據(jù)，判別器用于判斷圖片是屬于真數(shù)據(jù)還是假數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的一種基于二階段注意力機(jī)制GAN網(wǎng)絡(luò)圖像修復(fù)算法，其特征在于，依據(jù)所述兩個(gè)階段的訓(xùn)練過(guò)程最后輸出的結(jié)果，對(duì)生成器和判別器兩方的參數(shù)進(jìn)行調(diào)優(yōu)：

若判別器判斷正確，則調(diào)整生成器的參數(shù)從而使得生成的假數(shù)據(jù)更為逼真；若判別器判斷錯(cuò)誤，則調(diào)整判別器的參數(shù)，避免下次類(lèi)似的判斷出錯(cuò)。

6.根據(jù)權(quán)利要求1所述的一種基于二階段注意力機(jī)制GAN網(wǎng)絡(luò)圖像修復(fù)算法，其特征在于，所述步驟(4)中泛化實(shí)驗(yàn)用于訓(xùn)練網(wǎng)絡(luò)，使得該網(wǎng)絡(luò)既能處理圖像修復(fù)問(wèn)題也能實(shí)現(xiàn)圖像轉(zhuǎn)換問(wèn)題。