[發(fā)明專利]一種基于生成對抗網(wǎng)絡(luò)的圖像修復(fù)方法

在審

• 申請?zhí)枺?/td>: 202010510153.6
• 申請日: 2020-06-08
• 公開（公告）號: CN111815523A
• 公開（公告）日: 2020-10-23
• 發(fā)明（設(shè)計）人: 馬鑫;侯巒軒;赫然;孫哲南
• 申請（專利權(quán)）人: 天津中科智能識別產(chǎn)業(yè)技術(shù)研究院有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40
• 代理公司: 天津市三利專利商標(biāo)代理有限公司 12107
• 代理人: 韓新城

1.一種基于生成對抗網(wǎng)絡(luò)的圖像修復(fù)方法，其特征在于，包括步驟：

S1.預(yù)處理數(shù)據(jù)集中圖像，得到訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，其中包括受損圖像和真實圖像；預(yù)處理后數(shù)據(jù)集中圖像大小一致，真實圖像通過乘以一個二值掩碼得到受損圖像；

S2.使用訓(xùn)練數(shù)據(jù)集訓(xùn)練模型，得到能對受損圖像進(jìn)行修復(fù)的圖像修復(fù)模型；

上述模型中包含一個生成器和一個判別器；生成器結(jié)構(gòu)為U-net型網(wǎng)絡(luò)結(jié)構(gòu)，生成器包含16個卷積層，前8個卷積層后面均接有第一激活層，前8個卷積層逐漸減小特征圖；后8個卷積層前后分別接有第二激活層和正則化層，后8個卷積逐漸增加特征圖的大小到原圖；判別器由5個卷積層堆疊而成，用于判斷圖像是否修復(fù)完畢；

訓(xùn)練集中受損圖像作為模型輸入，對應(yīng)的真實圖像作為目標(biāo)生成圖像，訓(xùn)練生成對抗網(wǎng)絡(luò)生成器和判別器完成圖像修復(fù)任務(wù)；通過生成器對輸入的受損圖像處理，得到修復(fù)后的圖像；

判別器接受輸入的目標(biāo)生成圖像和模型生成的修復(fù)后的圖像，通過修復(fù)后的圖像與真實圖像在判別器中進(jìn)行對抗損失的計算，預(yù)測模型生成的修復(fù)后的圖像是否逼近于目標(biāo)生成圖像；

模型迭代多次達(dá)到穩(wěn)定后完成模型的訓(xùn)練，得到最終的圖像修復(fù)模型；

S3.使用訓(xùn)練好的圖像修復(fù)模型在測試數(shù)據(jù)集上測試其圖像修復(fù)性能，給定受損圖像模型即可自動輸出修復(fù)好的圖像。

2.根據(jù)權(quán)利要求1所述的基于生成對抗網(wǎng)絡(luò)的圖像修復(fù)方法，其特征在于，步驟S2包括：

S21.使用標(biāo)準(zhǔn)高斯分布隨機(jī)初始化生成對抗網(wǎng)絡(luò)中生成器和判別器的權(quán)重參數(shù)，其中生成器的損失函數(shù)為L_G，判別器的損失函數(shù)為L_D；

S22.將受損圖像輸入到生成器中，生成器輸出與真實圖像大小一致的生成圖像，將生成圖像和真實圖像作為判別器的輸入，依次迭代訓(xùn)練使生成器的損失函數(shù)L_G和判別器的損失函數(shù)為L_D降至趨于穩(wěn)定；

S23.交替訓(xùn)練生成對抗網(wǎng)絡(luò)中的生成器和判別器，當(dāng)損失函數(shù)趨于穩(wěn)定后得到最終的圖像修復(fù)模型。

3.根據(jù)權(quán)利要求2所述的基于生成對抗網(wǎng)絡(luò)的圖像修復(fù)方法，其特征在于，所述生成對抗網(wǎng)絡(luò)中生成器和判別器目標(biāo)函數(shù)如下：

L_D＝-[E_y～P(Y)[logD(y)]+E_x～P(X)[log(1-D(G(x)))]]]

其中，λ₁，λ₂，λ₃，λ₄為平衡因子，用于調(diào)整生成器中各個損失函數(shù)所占權(quán)重；x，y分別為受損圖像和真實圖像，G，D分別為生成器和判別器，L₁為兩種圖像之間的L₁范數(shù)度量，作為生成器的重建損失函數(shù)，L_style為風(fēng)格遷移損失函數(shù)，L_tv為全變差損失函數(shù)，為對抗損失函數(shù)，E(*)表示取平均操作，y～P(Y)表示真實圖像從P(Y)分布中采樣取得，x～P(X)表示受損圖像從P(X)分布中采樣取得。

4.根據(jù)權(quán)利要求3所述的基于生成對抗網(wǎng)絡(luò)的圖像修復(fù)方法，其特征在于，所述訓(xùn)練數(shù)據(jù)集中輸入圖像和真實圖像對為[x，y]，x為受損圖像，y為目標(biāo)真實圖像；為生成器的輸出，輸入判別器的真實和假圖像對為

5.根據(jù)權(quán)利要求3所述的基于生成對抗網(wǎng)絡(luò)的圖像恢復(fù)方法，其特征在于，所述生成器的重建損失函數(shù)為：

L₁＝E_{x，y～P(X，Y)}||G(x)-y||₁

其中x，y分別為從聯(lián)合分布P(X，Y)中采樣出來的受損圖像和對應(yīng)的真實圖像，E(*)表示取平均操作，||*||₁表示L₁范數(shù)，G(*)為生成器對應(yīng)的映射函數(shù)。