[發明專利]一種基于生成對抗網絡的圖像修復方法

在審

• 申請號: 202010510153.6
• 申請日: 2020-06-08
• 公開（公告）號: CN111815523A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 馬鑫;侯巒軒;赫然;孫哲南
• 申請（專利權）人: 天津中科智能識別產業技術研究院有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40
• 代理公司: 天津市三利專利商標代理有限公司 12107
• 代理人: 韓新城

本發明公開基于生成對抗網絡的圖像修復方法，包括：圖像數據集的圖像數據預處理，得到訓練數據集與測試數據集；多次迭代訓練生成對抗網絡的生成器與判別器，得到圖像修復模型，該模型通過生成對抗網絡的判別器計算生成器所生成的修復圖像與真實圖像之間的多種損失函數，使得生成的修復圖像在視覺上生成逼真并且在語義上合理；通過使用訓練好的圖像修復模型，對測試數據集中的受損圖像進行修復處理，測試訓練好的圖像修復模型的修復性能。本發明能顯著的提高生成的修復圖像的視覺質量和語義質量。

技術領域

本發明涉及圖像修復技術領域，特別是基于生成對抗網絡的圖像修復方法。

背景技術

圖像修復任務(image inpainting)，是從給定的受損圖像中合成圖像缺失區域中的替代內容，、且使得修復的圖像在視覺上逼真和在語義上合理。圖像修復可在其他應用中使用，如圖像編輯，當圖像中存在分散人注意力的場景元素時，如人或者物體(通常是不可避免的)，允許用戶移除圖像中不需要的元素，同時在空白區域填充視覺和語義上合理的內容。

生成對抗網絡啟發自博弈論中二人零和博弈的思想，具有生成式網絡和判別式網絡兩個網絡，利用它們間相互競爭從而不斷提升網絡性能，最終達到平衡。基于對抗生成網絡思想，衍生出許多變種網絡，并且這些網絡在圖像合成、圖像超分、圖像風格轉換和圖像修復等方面都取得了顯著的進步。圖像修復的研究，包括圖像補全、圖像去水印、圖像去雨滴和圖像去霧都得到了研究者們的關注。

基于生成對抗網絡的圖像修復方法通常分為兩個循環迭代的過程：首先使用生成式網絡模型對輸入非線性處理(一般為卷積操作)得到生成圖像；然后利用判別式網絡來對生成圖像作真假判別并進行參數反向傳播以改善網絡性能。

隨著科技不斷發展，人們在不同領域的需求也在相應提高，包括電影廣告動畫制作和網絡游戲等，逼真的圖像修復技術對用戶的良好體驗具有重要意義。

因此，在此背景下，開發基于生成對抗網絡的圖像修復方法，使得修復后的圖像在視覺上逼真和在語義上合理，具有重要的意義。

發明內容

本發明的目的是針對現有技術中存在的技術缺陷，而提供一種基于生成對抗網絡的圖像修復方法，通過引入了重建損失函數、風格損失函數、全變分損失函數和對抗損失函數作為約束，提高網絡的魯棒性，使得能生成視覺逼真和語義合理的修復圖像。

為實現本發明的目的所采用的技術方案是：

一種基于結構先驗的人臉圖像超分辨率方法，包括步驟：

S1.預處理數據集中圖像，得到訓練數據集和測試數據集，其中包括受損圖像和真實圖像；預處理后數據集中圖像大小一致，真實圖像通過乘以一個二值掩碼得到受損圖像；

S2.使用訓練數據集訓練模型，得到能對受損圖像進行修復的圖像修復模型；

上述模型中包含一個生成器和一個判別器；生成器結構為U-net型網絡結構，生成器包含16個卷積層，前8個卷積層后面均接有第一激活層，前8個卷積層逐漸減小特征圖；后8個卷積層前后分別接有第二激活層和正則化層，后8個卷積逐漸增加特征圖的大小到原圖；判別器由5個卷積層堆疊而成，用于判斷圖像是否修復完畢；

訓練集中受損圖像作為模型輸入，對應的真實圖像作為目標生成圖像，訓練生成對抗網絡生成器和判別器完成圖像修復任務；通過生成器對輸入的受損圖像處理，得到修復后的圖像；

判別器接受輸入的目標生成圖像和模型生成的修復后的圖像，通過修復后的圖像與真實圖像在判別器中進行對抗損失的計算，預測模型生成的修復后的圖像是否逼近于目標生成圖像；

模型迭代多次達到穩定后完成模型的訓練，得到最終的圖像修復模型；

S3.使用訓練好的圖像修復模型在測試數據集上測試其圖像修復性能，給定受損圖像模型即可自動輸出修復好的圖像。