[發(fā)明專利]一種基于面部樣式的人臉圖像修復方法

有效

• 申請?zhí)枺?/td>: 202110701430.6
• 申請日: 2021-06-24
• 公開（公告）號: CN113298736B
• 公開（公告）日: 2022-03-04
• 發(fā)明（設計）人: 閻剛;李文鑫;朱葉;郭迎春;于洋;高理想;張帥青
• 申請（專利權）人: 河北工業(yè)大學;天津云科世訊科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰

本發(fā)明為一種基于面部樣式的人臉圖像修復的方法，該方法包括以下內容：構建基于面部樣式的生成對抗網絡，包括基于面部樣式的生成網絡和PatchGAN判別器網絡；基于面部樣式的生成網絡包括編碼器?解碼器構成的主干修復子網絡、能夠根據(jù)人臉解析圖提取各面部區(qū)域的局部面部區(qū)域樣式和全局面部樣式的面部樣式提取子網絡；所有局部面部區(qū)域樣式和全局面部樣式構成樣式矩陣，生成各面部區(qū)域的仿射參數(shù)；編碼器與解碼器中的相應網絡層之間存在跳躍連接，每個跳躍連接上嵌入一個面部區(qū)域修復模塊。該方法能夠有效的克服現(xiàn)有技術修復后的人臉圖像中存在視覺偽影、面部結構細節(jié)模糊和面部語義不一致的問題，獲得更加精確的修復效果。

技術領域

本發(fā)明的技術方案涉及圖像修復領域，具體地說是一種基于面部樣式的人臉圖像修復方法。

背景技術

圖像修復(圖像補全或者圖像填充)是一種根據(jù)已知圖像內容去推測并修復出破損或缺失區(qū)域內容的技術，使修復后的圖像內容信息合理和主觀視覺真實。近些年來，隨著深度學習的快速發(fā)展，圖像修復也取得了較大的進步，被廣泛的用于目標移除、破損文物圖像修復、影視后期處理、老照片修復等領域。

現(xiàn)存的圖像修復方法可以分為兩大類，分別是基于傳統(tǒng)方式的圖像修復和基于深度學習方式的圖像修復。前者主要是依據(jù)圖像像素間的相關性和內容相似性等低層次的特征來進行推測修復，后者主要是利用神經網絡強大的學習能力來學習圖像中的抽象特征，對抽象特征進行一系列修復操作，從而生成更加符合語義的圖像。

基于深度學習的圖像修復主要是通過基于編碼器-解碼器的生成模型來進行修復，編碼器能夠捕獲圖像缺失區(qū)域周圍的上下文信息并進行編碼，提取圖像的潛在特征表示，并對潛在特征表示進行一系列的修復操作，然后通過解碼器將潛在特征表示恢復到圖像原始數(shù)據(jù)，進而生成缺失區(qū)域的內容，同時通過增加各種約束損失或借助GAN的生成對抗思想來不斷優(yōu)化修復結果。2016年Deepak Pathak在《IEEE Conference on ComputerVision and Pattern Recognition》上發(fā)表的論文“Context Encoders:Feature Learningby Inpainting”中，第一次使用深度學習中的卷積神經網絡和生成對抗網絡的思想進行圖像修復，使得修復結果相對于傳統(tǒng)修復方法有了本質上的提高。之后，針對于卷積網絡中的普通卷積(Vanilla Convolutions)會將圖像中的所有輸入像素都當成有效像素進行計算，同時卷積圖像中的有效像素和缺失像素會導致修復后的圖像出現(xiàn)視覺偽影，如色差、模糊以及邊界扭曲等，特別是對于不規(guī)則破損人臉圖像的修復來說，這一現(xiàn)象更為嚴重，且現(xiàn)有的深度學習方法大多數(shù)采用特征歸一化進行訓練，但是在空間維度上進行歸一化忽略了破損區(qū)域對歸一化的影響，網絡中經常會出現(xiàn)方差和均值的漂移問題，修復效果有待提升。

發(fā)明內容

針對現(xiàn)有技術的不足，本發(fā)明所要解決的技術問題是：提供一種利用生成對抗網絡的基于面部樣式的人臉圖像修復的方法，該方法設計了局部面部區(qū)域樣式與全局面部樣式自適應融合機制和區(qū)域歸一化的面部區(qū)域修復模塊，該自適應融合機制能夠通過網絡自動的學習各局部面部區(qū)域樣式和全局面部樣式的融合權重，得到融合后的面部區(qū)域樣式，進而生成各面部區(qū)域的仿射參數(shù)，面部區(qū)域修復模塊根據(jù)面部區(qū)域對面部特征進行有針對性的修復操作，簡單的說是面部區(qū)域修復模塊利用融合機制得到的各面部區(qū)域仿射參數(shù)僅對存在破損的面部區(qū)域特征進行區(qū)域歸一化操作，得到修復后的面部區(qū)域特征，而未破損的面部區(qū)域特征不需要區(qū)域歸一化操作，最后將修復后的面部區(qū)域特征和未破損的面部區(qū)域特征疊加，得到修復后面部特征。此外，為了得到更好的修復效果，在多個尺度上對面部特征進行修復，具體的做法是將面部區(qū)域修復模塊嵌入到編碼器與解碼器之間的跳躍連接上，而每個跳躍連接的面部特征是不同尺度的，這樣可以保證在多個尺度上對面部特征進行修復操作。本發(fā)明能夠有效的克服現(xiàn)有技術修復后的人臉圖像中存在視覺偽影、面部結構細節(jié)模糊和面部語義不一致的問題，獲得更加精確的修復效果。