[發(fā)明專利]一種基于面部樣式的人臉圖像修復(fù)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110701430.6
• 申請(qǐng)日: 2021-06-24
• 公開（公告）號(hào): CN113298736B
• 公開（公告）日: 2022-03-04
• 發(fā)明（設(shè)計(jì)）人: 閻剛;李文鑫;朱葉;郭迎春;于洋;高理想;張帥青
• 申請(qǐng)（專利權(quán)）人: 河北工業(yè)大學(xué);天津云科世訊科技有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/04;G06N3/08
• 代理公司: 天津翰林知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 12210
• 代理人: 付長(zhǎng)杰

1.一種基于面部樣式的人臉圖像修復(fù)的方法，其特征在于，該方法包括以下內(nèi)容：

獲得真實(shí)人臉圖像的人臉解析數(shù)據(jù)集，所述人臉解析數(shù)據(jù)集中的人臉解析圖包含不少于八個(gè)面部區(qū)域，利用真實(shí)人臉圖像和掩碼制作破損的人臉數(shù)據(jù)集；

構(gòu)建基于面部樣式的生成對(duì)抗網(wǎng)絡(luò)，該生成對(duì)抗網(wǎng)絡(luò)包括基于面部樣式的生成網(wǎng)絡(luò)和PatchGAN判別器網(wǎng)絡(luò)；

所述基于面部樣式的生成網(wǎng)絡(luò)包括主干修復(fù)子網(wǎng)絡(luò)和面部樣式提取子網(wǎng)絡(luò)；面部樣式提取子網(wǎng)絡(luò)采用瓶頸網(wǎng)絡(luò)結(jié)構(gòu)，能夠根據(jù)人臉解析圖提取各面部區(qū)域的局部面部區(qū)域樣式和全局面部樣式；所有局部面部區(qū)域樣式和全局面部樣式構(gòu)成樣式矩陣，學(xué)習(xí)各局部面部區(qū)域樣式和全局面部樣式之間的融合權(quán)重，得到融合后的面部區(qū)域樣式，進(jìn)而生成各面部區(qū)域的仿射參數(shù)；

主干修復(fù)子網(wǎng)絡(luò)為編碼器-解碼器網(wǎng)絡(luò)，編碼器與解碼器中的相應(yīng)網(wǎng)絡(luò)層之間存在跳躍連接，每個(gè)跳躍連接上嵌入一個(gè)面部區(qū)域修復(fù)模塊，用于對(duì)編碼器中的相應(yīng)下采樣層輸出的跳躍連接特征進(jìn)行針對(duì)性的修復(fù)；

所述面部區(qū)域修復(fù)模塊利用各面部區(qū)域仿射參數(shù)僅對(duì)存在破損的面部區(qū)域特征進(jìn)行區(qū)域歸一化操作，得到修復(fù)后的面部區(qū)域特征，而未破損的面部區(qū)域特征不需要區(qū)域歸一化操作，最后將修復(fù)后的面部區(qū)域特征和未破損的面部區(qū)域特征疊加，得到修復(fù)后面部特征。

2.根據(jù)權(quán)利要求1所述的人臉圖像修復(fù)的方法，其特征在于，將破損人臉圖像經(jīng)過由多個(gè)下采樣層組成的編碼器獲得破損圖像的抽象特征，同時(shí)記錄除最后一個(gè)下采樣層的輸出外的每一個(gè)下采樣層輸出的跳躍連接特征；最后，將各面部區(qū)域仿射參數(shù)與各下采樣層輸出的跳躍連接特征經(jīng)過一個(gè)面部區(qū)域修復(fù)模塊獲得修復(fù)后的跳躍連接特征，將編碼器輸出的抽象特征先經(jīng)過一個(gè)上采樣層后，得到首次上采樣的特征，接著重復(fù)執(zhí)行上采樣操作，直到上采樣輸出的特征與破損圖像空間維度上一致，其中每次上采樣的輸入為上一層上采樣層輸出的抽象特征和當(dāng)前上采樣層對(duì)應(yīng)的修復(fù)后的跳躍連接特征拼接后的特征，每次上采樣的輸出為當(dāng)前上采樣層輸出的抽象特征，在最后一次上采樣操作完成之后，再經(jīng)卷積層得到修復(fù)后的圖像。

3.根據(jù)權(quán)利要求1所述的人臉圖像修復(fù)的方法，其特征在于，所述編碼器由五個(gè)下采樣層依次連接構(gòu)成，所述解碼器由四個(gè)上采樣層依次連接構(gòu)成；面部樣式提取子網(wǎng)絡(luò)由4個(gè)下采樣層、3個(gè)上采樣層構(gòu)成；

上述的下采樣層為卷積核大小為3×3,步長(zhǎng)為1的卷積層、實(shí)例歸一化層、LeakyReLU激活函數(shù)構(gòu)成；上采樣層為轉(zhuǎn)置卷積核為4×4,步長(zhǎng)為2的轉(zhuǎn)置卷積層、實(shí)例歸一化層、LeakyReLU激活函數(shù)構(gòu)成。

4.根據(jù)權(quán)利要求1所述的人臉圖像修復(fù)的方法，其特征在于，所述面部區(qū)域修復(fù)模塊具有兩條分支，具體的流程是：

分支一：輸入面部區(qū)域修復(fù)模塊的跳躍連接特征→使用區(qū)域歸一化模塊僅對(duì)存在缺失的面部區(qū)域特征執(zhí)行仿射變換操作→使用3×3的卷積層進(jìn)行卷積操作→使用LeakyReLU激活函數(shù)增加非線性→使用區(qū)域歸一化模塊僅對(duì)存在缺失的面部區(qū)域特征執(zhí)行仿射變換操作→得到區(qū)域修復(fù)特征；

分支二：輸入面部區(qū)域修復(fù)模塊的跳躍連接特征→使用1×1的卷積層進(jìn)行卷積操作→使用區(qū)域歸一化模塊僅對(duì)存在缺失的面部區(qū)域特征執(zhí)行仿射變換操作→使用Sigmoid激活函數(shù)強(qiáng)調(diào)邊界特征→得到邊界殘差特征；

最后，將分支一得到的區(qū)域修復(fù)特征與分支二得到邊界殘差特征進(jìn)行相乘得到修復(fù)后的跳躍連接特征。

5.根據(jù)權(quán)利要求1所述的人臉圖像修復(fù)的方法，其特征在于，所述區(qū)域歸一化模塊是對(duì)所輸入的特征使用實(shí)例歸一化層進(jìn)行歸一化操作，判斷當(dāng)前面部區(qū)域是否存在缺失，若存在缺失則利用相應(yīng)面部區(qū)域的仿射參數(shù)對(duì)該面部區(qū)域的特征進(jìn)行仿射變換操作，若不存在缺失，則不需要任何操作，最終得到所有面部區(qū)域變換后的特征或未變換后的特征，將所有面部區(qū)域變換后的特征和未變換后的特征相加得到區(qū)域歸一化模塊輸出的特征。