[發(fā)明專利]一種語義引導的人臉圖像修復方法

在審

• 申請?zhí)枺?/td>: 202110308440.3
• 申請日: 2021-03-23
• 公開（公告）號: CN113112416A
• 公開（公告）日: 2021-07-13
• 發(fā)明（設計）人: 張繁;葉凱威
• 申請（專利權）人: 浙江工業(yè)大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/11;G06T7/194;G06N3/04
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 萬尾甜;韓介梅

本發(fā)明公開了一種語義引導的人臉圖像修復方法，該方法使用來自CelebA人臉數(shù)據(jù)集，整理分割成訓練集和測試集；并對人臉圖像數(shù)據(jù)集進行預處理，根據(jù)人眼位置定位之后，調整圖像到大小，并在中心區(qū)域添加掩碼，讀取對應圖片的標簽，用于之后的訓練和測試；將經(jīng)過預處理的圖像以及選取的人臉屬性標簽輸入到修復模型之中，經(jīng)過對抗的訓練，提升修復的質量，用測試集及指標來進行評價修復能力。本發(fā)明方法可在保證修復效果的同時，控制圖像其余屬性不變，通過更改屬性標簽生成帶有特定屬性的修復結果；通過一個多維度的空洞卷積以及引入注意力機制，增加圖像的感受野以增強圖像的修復能力，且通過多種損失函數(shù)，使修復結果更加真實自然。

技術領域

本發(fā)明屬于圖像修補和深度學習技術領域，涉及一種語義引導的人臉圖像修復方法，尤其是一種基于對抗生成網(wǎng)絡的語義引導的人臉圖像修復方法。

背景技術

圖像修復技術一直是圖像處理中的一個重要問題，屬于模式識別，機器學習，計算機視覺中的一個交叉問題。圖像往往含有大量的信息，而圖像的缺失就意味著信息的缺失。圖像修復指的是對于缺失的圖像進行修復。在圖像修復領域，人臉圖像由于具有大量的語義信息以及紋理信息，在圖像修復的領域里面更是一個難點。目前為止，研究人員提出了大量的圖像修復的方法，已經(jīng)廣泛的應用于影視，刑偵，老照片修復等領域。

在早期的圖像修復算法中，可以通過直接對缺失區(qū)域內的邊緣像素進行拉伸，更加精細的方法則需要計算小區(qū)塊(patch)的相似度，擴散式的逐步填充。但是這種方法無法獲得圖像的高層結構和語義信息，也無法產(chǎn)生新的圖像內容。隨著深度學習的發(fā)展，基于CNN的深度網(wǎng)絡被證明其有能力在高層上捕獲圖像的抽象信息。2014年Ian Goodfellow等人提出了GAN(Generative Adversarial Network生成對抗網(wǎng)絡)用于生成圖像。MehdiMirza等人提出的CGAN，在訓練集中加入監(jiān)督信息，能夠帶有指定條件的圖像。2017年Augustus Odena等人提出了ACGAN(Conditional Image Synthesis with AuxiliaryClassifier GANs)通過引入分類器，使得CGAN的圖像生成能力得到提升。2018年KamyarNazeri等人提出了EdgeConnect，這是一種兩階段修復模型，通過第一階段的邊緣圖的修復，第二階段通過邊緣圖的指導生成缺失的區(qū)域。EdgeConnect取得了非常逼真的效果，在大規(guī)模的數(shù)據(jù)集上依舊取得了很好的效果，但是由于二階段的修復過程依賴第一階段的邊緣圖且需要訓練的時間很長。

基于深度學習的圖像修復算法目前在修復普通的圖像，例如建筑、天空等有不錯的效果，但是對于人臉這種帶有大量的語義信息的圖像還是難以取得令人滿意的效果。

發(fā)明內容

本發(fā)明的目的在于針對現(xiàn)有技術的不足，提出了一種語義引導的人臉圖像修復方法，該方法可以提高人臉圖像的修復質量，同時可以通過語義引導來控制生成人臉圖人臉屬性，可利用數(shù)據(jù)自帶的人臉屬性生成指定的修復圖像。

一種語義引導的人臉圖像修復方法，采用生成對抗網(wǎng)絡構建修復模型，包括生成器、判別器和分類器，使用CelebA人臉數(shù)據(jù)集數(shù)據(jù)分割為訓練集和測試集，對其進行如下預處理：根據(jù)人眼位置定位之后，調整圖像大小，并在中心區(qū)域添加掩碼，讀取人臉屬性標簽；通過預處理后的訓練集和選取的人臉屬性標簽訓練所述修復模型，將經(jīng)過預處理的測試集輸入到訓練好的修復模型之中，對修復能力進行評價，且可根據(jù)標簽，在保證其余屬性不變的情況下，修復生成帶有特定屬性的圖像。

所述的生成器輸入的圖像為帶有缺失的圖像，輸出為修補后的圖像，生成器采用編碼-解碼結構，在編碼器階段，采用多尺度融合空洞卷積模塊以神經(jīng)網(wǎng)絡下采樣的方式提取缺失圖像的特征，所述判別器同時輸出Real/Fake信息以及分類信息，所述分類器則完全輸出分類信息。

在所述生成器中引入注意力機制加強前景區(qū)域和背景區(qū)域的關聯(lián)。