[發(fā)明專利]一種基于生成式對(duì)抗網(wǎng)絡(luò)的人臉表情生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110361039.6
• 申請(qǐng)日: 2021-04-02
• 公開（公告）號(hào): CN112990078B
• 公開（公告）日: 2022-05-10
• 發(fā)明（設(shè)計(jì)）人: 王蕊;施璠;曲強(qiáng);姜青山
• 申請(qǐng)（專利權(quán)）人: 深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京市誠(chéng)輝律師事務(wù)所 11430
• 代理人: 耿慧敏;朱偉軍

本發(fā)明公開了一種基于生成式對(duì)抗網(wǎng)絡(luò)的人臉表情生成方法。該方法包括：構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)模型，其包括循環(huán)神經(jīng)網(wǎng)絡(luò)、生成器、圖像判別器、第一視頻判別器和第二視頻判別器，其中循環(huán)神經(jīng)網(wǎng)絡(luò)針對(duì)輸入圖像產(chǎn)生時(shí)間相關(guān)的運(yùn)動(dòng)向量，生成器以運(yùn)動(dòng)向量和輸入圖像作為輸入，輸出相應(yīng)的視頻幀，圖像判別器用于判斷各視頻幀的真?zhèn)危谝灰曨l判別器判斷視頻的真?zhèn)尾⑦M(jìn)行分類，第二視頻判別器控制生成視頻變化的真實(shí)性和平滑性；利用包含不同表情類別的樣本圖像作為輸入，訓(xùn)練所述深度學(xué)習(xí)網(wǎng)絡(luò)模型；利用經(jīng)訓(xùn)練的生成器實(shí)時(shí)生成人臉視頻。本發(fā)明在生成表情的同時(shí)保留人臉特征、所生成視頻保持了連續(xù)性和真實(shí)性、對(duì)不同的人臉有泛化能力。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，更具體地，涉及一種基于生成式對(duì)抗網(wǎng)絡(luò)的人臉表情生成方法。

背景技術(shù)

在人臉生成方面，3DMM(人臉3D形變統(tǒng)計(jì)模型)通過(guò)改變形狀、紋理、姿態(tài)、光照等參數(shù)生成人臉。DRAW(深度遞歸書寫器)用循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)實(shí)現(xiàn)圖像生成，Pixel CNN用卷積神經(jīng)網(wǎng)絡(luò)(CNN)代替RNN，實(shí)現(xiàn)逐像素的圖像生成。

生成式對(duì)抗網(wǎng)絡(luò)(GAN)出現(xiàn)之后被廣泛應(yīng)用于圖像生成方面，越來(lái)越多基于GAN的模型被應(yīng)用于人臉表情轉(zhuǎn)換。例如，ExprGAN(基于強(qiáng)度可控的表情編輯)將條件生成對(duì)抗網(wǎng)絡(luò)和對(duì)抗自動(dòng)譯碼器相結(jié)合，實(shí)現(xiàn)人臉表情的轉(zhuǎn)換。又如，F(xiàn)acelet-Bank在固定解碼器和譯碼器的基礎(chǔ)上，根據(jù)目標(biāo)輸入域和輸出域訓(xùn)練出表示兩個(gè)域差值的網(wǎng)絡(luò)，以此實(shí)現(xiàn)人臉圖像編輯。

目前，用圖像生成視頻的主要方法之一是運(yùn)動(dòng)序列預(yù)測(cè)。例如，ConvLSTM(卷積長(zhǎng)短時(shí)記憶網(wǎng)絡(luò))通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法預(yù)測(cè)未來(lái)的視頻幀；VGAN(Vondrick C等)在實(shí)現(xiàn)表情視頻識(shí)別之外，用GAN實(shí)現(xiàn)了視頻的生成；TGAN(基于圖靈測(cè)試的生成對(duì)抗模型)指出視頻可以由時(shí)間生成器和圖像生成器共同生成，即生成一組與時(shí)間相關(guān)的序列幀，此外，TGAN使用WGAN(Wasserstein GAN)結(jié)構(gòu)使訓(xùn)練更穩(wěn)定；HP(Villegas R等)將視頻的生成分為兩個(gè)獨(dú)立的步驟，第一步用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)關(guān)鍵點(diǎn)進(jìn)行預(yù)測(cè)，第二步根據(jù)預(yù)測(cè)出的關(guān)鍵點(diǎn)的位置實(shí)現(xiàn)視頻的逐幀生成。

另一種實(shí)現(xiàn)從圖像到視頻生成的方法是視頻的逐幀生成。這種方式不再需要另外考慮前后視頻幀之間的關(guān)系，即將視頻生成的問(wèn)題轉(zhuǎn)換為更為簡(jiǎn)單的圖像生成問(wèn)題，通過(guò)系數(shù)控制每一幀的變化程度。ExprGAN在人臉表情編輯實(shí)驗(yàn)中可以控制表情程度，通過(guò)設(shè)置連續(xù)增大的表情程度，可生成表情視頻。Image2video(圖片轉(zhuǎn)視頻)將基礎(chǔ)編碼器和剩余編碼器相結(jié)合，通過(guò)改變剩余編碼器得到的特征圖的系數(shù)大小，即表示變化程度變量，實(shí)現(xiàn)視頻的逐幀生成。

經(jīng)分析，在現(xiàn)有的基于深度學(xué)習(xí)生成表情視頻的方案中，通常是根據(jù)噪聲生成視頻，但因?yàn)楸砬閿?shù)據(jù)庫(kù)較小等原因?qū)е律傻娜四樰^為單一，并且無(wú)法指定人臉；而從圖像生成視頻的模型在人臉表情方面效果較差。

發(fā)明內(nèi)容

本發(fā)明的目的是克服上述現(xiàn)有技術(shù)的缺陷，提供一種基于生成式對(duì)抗網(wǎng)絡(luò)的人臉表情生成方法，所生成視頻保持了連續(xù)性和真實(shí)性。

本發(fā)明的技術(shù)方案是：提供一種基于生成式對(duì)抗網(wǎng)絡(luò)的人臉表情生成方法，該方法包括以下步驟：

構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)模型，該深度學(xué)習(xí)網(wǎng)絡(luò)模型包括循環(huán)神經(jīng)網(wǎng)絡(luò)、生成器、圖像判別器、第一視頻判別器和第二視頻判別器，其中循環(huán)神經(jīng)網(wǎng)絡(luò)針對(duì)輸入圖像產(chǎn)生時(shí)間相關(guān)的運(yùn)動(dòng)向量；生成器用于將循環(huán)神經(jīng)網(wǎng)絡(luò)產(chǎn)生的運(yùn)動(dòng)向量和輸入圖像作為輸入，輸出相應(yīng)的視頻幀；圖像判別器用于判斷各視頻幀的真?zhèn)危坏谝灰曨l判別器用于判斷視頻真?zhèn)尾?duì)視頻進(jìn)行分類；第二視頻判別器輔助第一視頻判別器用于控制生成視頻變化的真實(shí)性和平滑性；

利用包含不同表情類別的樣本圖像作為輸入，以設(shè)定的目標(biāo)函數(shù)為優(yōu)化目標(biāo)訓(xùn)練所述深度學(xué)習(xí)網(wǎng)絡(luò)模型；

利用經(jīng)訓(xùn)練的生成器實(shí)時(shí)生成人臉視頻。