[發明專利]一種基于多列門控卷積網絡的人臉圖像修復方法

有效

• 申請號: 202110096256.7
• 申請日: 2021-01-25
• 公開（公告）號: CN112837234B
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 楊有;李可森;楊學森;劉思汛;姚露
• 申請（專利權）人: 重慶師范大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/62;G06N3/04;G06N3/08;G06V10/75
• 代理公司: 重慶樂泰知識產權代理事務所(普通合伙) 50221
• 代理人: 林慰敏

本發明公開了一種基于多列門控卷積網絡的人臉圖像修復方法，獲取待修復人臉圖像和掩碼，并將所述待修復人臉圖像輸入帶有門控卷積的生成器中進行修復，得到生成圖像；基于感知損失法，利用隱式多元馬爾可夫隨機場計算出所述生成圖像和原始圖像之間的特征損失值；將所述生成圖像中的像素的置信度進行賦值，并根據所述特征損失值和計算得到的兩種損失值，得到聯合損失值，由三個并行的編解碼器分支組成，每個分支設置不同尺寸的卷積核，分別提取人臉不同層次的語義信息，提高全局語義結構一致性；融入一種門控卷積，提高了不規則缺失區域的修復能力；并使用多尺度神經塊匹配方法，增強臉部的細節紋理，提高修復能力。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種基于多列門控卷積網絡的人臉圖像修復方法。

背景技術

圖像修復(Image inpainting)，又稱圖像補全(Image completion)，目的是推測合適的像素信息來修復圖像中的缺失區域，其核心問題是保持全局語義結構的一致性，并為缺失區域生成逼真的紋理細節。人臉修復(Face inpainting)作為圖像修復的一個分支，用于修復人臉缺失的區域，是一項具有挑戰性的任務。傳統的圖像修復方法主要有兩類:一類是基于紋理合成的方法。這類方法僅用到低級像素特征，難以捕獲圖像的全局結構和語義信息，不能修復像人臉這樣復雜的非重復性圖像。另一類是基于外部數據庫的搜索方法，在大量數據集中搜索背景信息最相似的圖片后，將其前景信息提取并融合到缺失區域。如果在數據集中沒有很好的匹配項時，這種方法會出現修復錯誤。

近年來，隨著生成對抗網絡的快速發展，利用大規模數據集學習圖像的高級語義信息，以端到端方式合成噪聲圖像內容的方法成為主流趨勢。這些方法將圖像修復視為條件生成問題，即通過編碼器-解碼器模型計算圖像的高級語義信息和低級像素特征，聯合對抗網絡激勵模型生成逼真的信息，可以在人臉這樣高度結構化的圖像中產生合理的新內容。然而，這些修復方法的局限是僅將圖像轉換成單一層次的特征空間，忽略了修復涉及不同層次的事實。不僅如此，普通卷積對所有有效、無效和混合(缺失邊界)像素使用相同的卷積操作，在修復不規則缺失區域時出現模糊的修復結果，降低修復能力。

發明內容

本發明的目的在于提供一種基于多列門控卷積網絡的人臉圖像修復方法，提高修復能力。

為實現上述目的，本發明提供了一種基于多列門控卷積網絡的人臉圖像修復方法，包括以下步驟：

獲取待修復人臉圖像和掩碼，并將所述待修復人臉圖像輸入帶有門控卷積的生成器中進行修復，得到生成圖像；

基于感知損失法，利用隱式多元馬爾可夫隨機場計算出所述生成圖像和原始圖像之間的特征損失值；

將所述生成圖像中的像素的置信度進行賦值，并根據所述特征損失值和計算得到的兩種損失值，得到聯合損失值，完成修復。

其中，獲取待修復人臉圖像和掩碼，并將所述待修復人臉圖像輸入帶有門控卷積的生成器中進行修復，得到生成圖像，包括：

獲取待修復圖像和掩碼，并利用生成器的多個門控卷積分支提取所述待修復圖像和所述掩碼的多個圖像特征和掩碼特征，其中，利用所述掩碼對獲取的人臉圖像訓練集進行標記得到所述待修復圖像；

對所述待修復圖像進行下采樣，并利用擴張卷積進行處理；

對多個所述圖像特征進行上采樣，并利用帶有門控卷積的解碼器進行多次卷積，得到對應的生成圖像。

其中，對多個所述圖像特征進行上采樣，并利用帶有門控卷積的解碼器進行多次卷積，得到對應的生成圖像，包括：

對多個所述圖像特征進行上采樣，并在空間分量上對得到的原始分辨率進行合并，得到特征矩陣；

利用帶有門控卷積的解碼器對所述特征矩陣進行多次卷積還原，得到對應的生成圖像。