[發(fā)明專利]一種基于對抗學(xué)習(xí)的人臉圖像合成方法和裝置

有效

• 申請?zhí)枺?/td>: 201910097890.5
• 申請日: 2019-01-31
• 公開（公告）號: CN109815928B
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計(jì)）人: 張婷;張招亮;唐文杰;廖歡;梁雅萌;李慧
• 申請（專利權(quán)）人: 中國電子進(jìn)出口有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理有限公司 11200
• 代理人: 邱曉鋒

本發(fā)明涉及一種基于對抗學(xué)習(xí)的人臉圖像合成方法和裝置。該方法提供一種新型的生成對抗網(wǎng)絡(luò)(FC?GAN)，旨在從遮擋的人臉圖像合成標(biāo)準(zhǔn)光照下的正面人臉圖像。FC?GAN使用一個(gè)編碼器?解碼器的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)作為生成器，同時(shí)引入了兩個(gè)判別器：一個(gè)是全局判別器，用于區(qū)分整張人臉圖像的真實(shí)性，同時(shí)保持人的身份信息不變；另一個(gè)是局部判別器，用于區(qū)分人臉中遮擋區(qū)域的真實(shí)性。此外引入一個(gè)人臉語義分割網(wǎng)絡(luò)強(qiáng)化生成圖像中人臉五官的一致性。通過對比合成人臉圖像和真實(shí)人臉圖像的語義標(biāo)簽，反傳梯度給生成器調(diào)整合成人臉圖像的五官。基準(zhǔn)數(shù)據(jù)集Multi?PIE上的實(shí)驗(yàn)結(jié)果表明，F(xiàn)C?GAN的性能優(yōu)于現(xiàn)有的大多數(shù)方法。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體涉及一種基于對抗學(xué)習(xí)的人臉圖像合成方法和裝置。

背景技術(shù)

人臉識(shí)別是計(jì)算機(jī)視覺領(lǐng)域中一個(gè)重要的研究主題。由于其使用方便、準(zhǔn)確性高、且具有非侵入式的特點(diǎn)，因此在安防監(jiān)控、金融服務(wù)、手機(jī)終端和實(shí)體商業(yè)等諸多領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力。近十年中，深度學(xué)習(xí)在人臉識(shí)別方面取得了巨大的成功，基于深度神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別系統(tǒng)的性能已經(jīng)顯著地超過了基于手工設(shè)計(jì)特征的人臉識(shí)別系統(tǒng)。許多研究人臉識(shí)別技術(shù)的初創(chuàng)公司如雨后春筍一般涌現(xiàn)出來，例如商湯科技、曠視科技、云從科技和依圖科技等。

人臉識(shí)別系統(tǒng)的性能依賴于人臉的特征表達(dá)，而人臉的特征表達(dá)與人臉表象(Appearance)的變化有直接關(guān)系，這些變化主要包括角度、光照和表情的變化。然而，在實(shí)際場景中獲取的人臉圖像往往對應(yīng)著不同的視角和光照條件，這大大增加了人臉識(shí)別的難度。

對于理想場景(如實(shí)驗(yàn)室場景)中的正面無遮擋人臉圖像，文獻(xiàn)中的人臉識(shí)別方法已經(jīng)取得了較高的識(shí)別精度。但是，當(dāng)人臉存在視角變化并且部分人臉被遮擋時(shí)，已有人臉識(shí)別方法的性能將會(huì)顯著下降。帶遮擋的側(cè)面人臉圖像經(jīng)常出現(xiàn)在真實(shí)場景中，影響人臉識(shí)別系統(tǒng)的性能。已有文獻(xiàn)分別對角度變化和遮擋問題提出解決方案，但是目前缺乏一個(gè)解決方案同時(shí)處理這兩個(gè)問題。一個(gè)替代的解決方案是：首先利用人臉轉(zhuǎn)正方法旋轉(zhuǎn)人臉，然后利用圖像補(bǔ)全方法去除人臉遮擋。但是，這個(gè)方案容易生成模糊的和有瑕疵的人臉圖像。

聯(lián)合分解和融合的生成式對抗網(wǎng)絡(luò)DF-GAN(Disentangling and FusingGenerative Adversarial Network)將人臉補(bǔ)全和人臉破壞看作完整人臉圖像和遮擋物的分解和融合過程。該方法構(gòu)造了三個(gè)分別對應(yīng)于遮擋人臉圖像，完整人臉圖像和結(jié)構(gòu)化遮擋物的域，并且將分解和融合過程看作是三個(gè)域之間的相互轉(zhuǎn)換。DF-GAN建立了分解和融合網(wǎng)絡(luò)來學(xué)習(xí)不成對數(shù)據(jù)的轉(zhuǎn)換，同時(shí)可以通過修改隱變量來模擬結(jié)構(gòu)化的遮擋。該方法將分解和融合過程、對抗學(xué)習(xí)統(tǒng)一為雙重學(xué)習(xí)框架，并且在Meshface驗(yàn)證問題上評估了提出的方法，但該方法不能同時(shí)處理視角變化和遮擋。

DR-GAN(Disentangled Representation learning-Generative AdversarialNetwork)使用自動(dòng)編碼器作為生成網(wǎng)絡(luò)，并且將目標(biāo)角度向量串聯(lián)到自動(dòng)編碼器的最中間一層。提出的判別器不僅區(qū)分輸入圖像的真假，還對輸出圖像的角度進(jìn)行分類。不同于DR-GAN，本發(fā)明不僅設(shè)計(jì)了全局判別器，還引入了局部判別器對遮擋部分進(jìn)行恢復(fù)。DR-GAN只能解決人臉視角變化問題，并不能解決遮擋問題。

TP-GAN(Two-Pathway Generative Adversarial Network)結(jié)合了多個(gè)損失函數(shù)來合成最終的正面人臉圖像。他們提出兩個(gè)生成器來合成人臉圖像：一個(gè)是用來提取整幅人臉圖像特征的全局生成器；另一個(gè)是用來提取包含重要人臉特征點(diǎn)的圖像塊內(nèi)特征的局部的生成器。他們還增加了保持身份不變的損失函數(shù)使得生成人臉圖像的高層特征與真值人臉圖像的高層特征盡可能接近。TP-GAN只能解決人臉視角變化問題，并不能解決遮擋問題。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問題，本發(fā)明提出了一種基于對抗學(xué)習(xí)的人臉圖像合成方法和裝置，可以同時(shí)處理人臉的視角變化和遮擋。