[發(fā)明專利]基于動態(tài)的面部表情動作單元信息的人臉修復(fù)方法

在審

• 申請?zhí)枺?/td>: 202011164029.5
• 申請日: 2020-10-27
• 公開（公告）號: CN112365412A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計）人: 劉志磊;吳云鵬;李樂;張翠翠
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/00
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 劉國威

本發(fā)明涉及人臉識別以及計算機(jī)視覺等領(lǐng)域，為提出新的人臉修復(fù)方法，為此，本發(fā)明采取的技術(shù)方案時，基于動態(tài)的面部表情動作單元信息的人臉修復(fù)方法，構(gòu)建人臉修復(fù)生成網(wǎng)絡(luò)，由粗到細(xì)地修復(fù)有損人臉，其包括一個粗糙生成器與精細(xì)生成器，粗糙生成器是一個自編碼器AE構(gòu)成，精細(xì)生成器是一個條件自編碼器CAE構(gòu)成；構(gòu)建圖片判別器網(wǎng)絡(luò)，用于區(qū)分修復(fù)生成的人臉圖像與真實的人臉圖像；構(gòu)建面部表情動作單元信息AU檢測器網(wǎng)絡(luò)，用于對粗糙生成器生成修復(fù)的人臉檢測到的AU信息，以條件形式添加到精細(xì)生成器中，從而約束精細(xì)生成器修復(fù)生成的人臉圖像的面部表情動作。本發(fā)明主要應(yīng)用于人臉修復(fù)場合。

技術(shù)領(lǐng)域

本發(fā)明涉及人臉識別以及計算機(jī)視覺等領(lǐng)域，具體點是涉及基于動態(tài)的面部表情動作單元信息的人臉修復(fù)方法。

背景技術(shù)

近年來，由于生成對抗網(wǎng)絡(luò)(GAN)的出現(xiàn)，基于深度學(xué)習(xí)的面部修復(fù)方法取得了一定的成果。大多數(shù)先前的人臉修復(fù)方法沒有考慮到高級的面部表情結(jié)構(gòu)信息，例如面部表情動作單元信息(AU)。

人臉面部圖像修復(fù)旨在恢復(fù)遮擋住的人臉面部區(qū)域，這在野外環(huán)境下的人臉識別領(lǐng)域越來越受到關(guān)注，特別是隨著卷積神經(jīng)網(wǎng)絡(luò)(CNN)和生成對抗網(wǎng)絡(luò)(GAN)的出現(xiàn)。以前的人臉面部圖像修復(fù)工作可分成兩個分支：傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)方法通常通過搜索最近鄰的方法來替換有損的人臉面部區(qū)域，也就是從數(shù)據(jù)集中尋找與有損區(qū)域極為相似的區(qū)域進(jìn)行替代修復(fù)。基于深度學(xué)習(xí)的方法通常是端到端地直接用神經(jīng)網(wǎng)絡(luò)完成人臉圖像的修復(fù)，它總是不能保留原來真實人臉圖像的面部屬性或表情動作。雖然基于深度學(xué)習(xí)的方法取得了巨大的成功，但生成的人臉圖像往往具有失真和虛假的痕跡。一些相關(guān)的研究還使用到了低級的人臉面部結(jié)構(gòu)信息來生成修復(fù)整個人臉面部，例如人臉標(biāo)志點(facial landmarks)和人臉面部語義分割信息(face parsing)，但都難以保證修復(fù)后的人臉的面部結(jié)構(gòu)信息不發(fā)生改變。

本文提出了一種方法，將高級的面部表情動作單元信息(AU)和GAN結(jié)合起來對有損的人臉圖像進(jìn)行修復(fù)生成，同時保證修復(fù)后人臉表情結(jié)構(gòu)信息與真實的人臉圖片相一致，并且保證身份信息也一致。

發(fā)明內(nèi)容

為克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在提出新的人臉修復(fù)方法，為此，本發(fā)明采取的技術(shù)方案時，基于動態(tài)的面部表情動作單元信息的人臉修復(fù)方法，構(gòu)建人臉修復(fù)生成網(wǎng)絡(luò)，由粗到細(xì)地修復(fù)有損人臉，其包括一個粗糙生成器與精細(xì)生成器，粗糙生成器是一個自編碼器AE構(gòu)成，精細(xì)生成器是一個條件自編碼器CAE構(gòu)成；構(gòu)建圖片判別器網(wǎng)絡(luò)，用于區(qū)分修復(fù)生成的人臉圖像與真實的人臉圖像；構(gòu)建面部表情動作單元信息AU檢測器網(wǎng)絡(luò)，用于對粗糙生成器生成修復(fù)的人臉檢測到的AU信息，以條件形式添加到精細(xì)生成器中，從而約束精細(xì)生成器修復(fù)生成的人臉圖像的面部表情動作；

訓(xùn)練時，具有遮擋區(qū)域的人臉圖像作為整個網(wǎng)絡(luò)的輸入，輸入到粗糙生成器中，粗糙生成器得到一個粗糙的修復(fù)結(jié)果，將這個結(jié)果作為精細(xì)生成器的輸入，最終的修復(fù)結(jié)果分別輸入到判別器和AU分類器中以此來約束精細(xì)生成器的生成效果；

測試時：具有遮擋區(qū)域的人臉圖像輸入到粗糙生成器中，得到一個粗糙的修復(fù)結(jié)果，之后將這個初步得到的結(jié)果分別輸入到精細(xì)生成器和AU分類器中，利用AU分類器的分類結(jié)果作為精細(xì)生成器的約束，從而修復(fù)生成最終的人臉圖像的面部表情動作，同時得到修復(fù)后圖像的AU識別結(jié)果。

1)對于粗糙生成器，單獨每部分loss如下：

其中，x_r是訓(xùn)練集中非復(fù)雜環(huán)境下的真實人臉，x_coar是粗糙生成器大致修復(fù)生成的人臉。

其中，D_img是圖片判別器。

其中，是指圖片判別器的輸出的前一特征層。