[發(fā)明專利]一種基于生成式對(duì)抗網(wǎng)絡(luò)的人臉表情生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110361039.6
• 申請(qǐng)日: 2021-04-02
• 公開（公告）號(hào): CN112990078B
• 公開（公告）日: 2022-05-10
• 發(fā)明（設(shè)計(jì)）人: 王蕊;施璠;曲強(qiáng);姜青山
• 申請(qǐng)（專利權(quán)）人: 深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京市誠輝律師事務(wù)所 11430
• 代理人: 耿慧敏;朱偉軍

1.一種基于生成式對(duì)抗網(wǎng)絡(luò)的人臉表情生成方法，包括以下步驟：

構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)模型，該深度學(xué)習(xí)網(wǎng)絡(luò)模型包括循環(huán)神經(jīng)網(wǎng)絡(luò)、生成器、圖像判別器、第一視頻判別器和第二視頻判別器，其中循環(huán)神經(jīng)網(wǎng)絡(luò)針對(duì)輸入圖像產(chǎn)生時(shí)間相關(guān)的運(yùn)動(dòng)向量；生成器用于將循環(huán)神經(jīng)網(wǎng)絡(luò)產(chǎn)生的運(yùn)動(dòng)向量和輸入圖像作為輸入，輸出相應(yīng)的視頻幀；圖像判別器用于判斷各視頻幀的真?zhèn)危坏谝灰曨l判別器用于判斷視頻真?zhèn)尾?duì)視頻進(jìn)行分類；第二視頻判別器輔助第一視頻判別器用于控制生成視頻變化的真實(shí)性和平滑性；

利用包含不同表情類別的樣本圖像作為輸入，以設(shè)定的目標(biāo)函數(shù)為優(yōu)化目標(biāo)，訓(xùn)練所述深度學(xué)習(xí)網(wǎng)絡(luò)模型；

利用經(jīng)訓(xùn)練的生成器實(shí)時(shí)生成人臉視頻；

其中，所述目標(biāo)函數(shù)設(shè)置為：

其中D包括圖像判別器、第一視頻判別器和第二視頻判別器，G是生成器，λ₁、λ₂、λ₃、λ₄是超參數(shù)，l_{img_adv}是圖像判別器的損失函數(shù)，l_{vid_adv}是第一視頻判別器的對(duì)抗損失函數(shù)，l_{patch_adv}是第二視頻判別器的對(duì)抗損失函數(shù)，l_cat是生成器的分類損失函數(shù)，l_rec是生成器的重構(gòu)損失函數(shù)；

其中，所述圖像判別器的損失函數(shù)表示為：

其中P_video(v)是真實(shí)視頻的分布，v[0]表示視頻v的第一幀，v[t]表示視頻的第(t+1)幀，c是目標(biāo)類別，D_img表示圖像判別器，P_data(x)、P_z(z)和P_c(c)分別表示x、z和c的分布，x為輸入的人臉圖像，z為隨機(jī)噪聲。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述生成器基于U-net結(jié)構(gòu)構(gòu)建，包括用于下采樣的多層卷積層，以及與所述多層卷積層對(duì)應(yīng)的多層反卷積用于實(shí)現(xiàn)上采樣。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述第一視頻判別器D_V的對(duì)抗損失函數(shù)表示為：

其中，c是目標(biāo)類別，P_z(z)是隨機(jī)噪聲的分布，x為輸入的人臉圖像，v表示視頻，P_video(v)表示真實(shí)視頻的分布，P_data(x)、P_z(z)和P_c(c)分別表示x、z和c的分布。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述第二視頻判別器D_patch的對(duì)抗損失函數(shù)表示為：

其中，c是目標(biāo)類別，是z為隨機(jī)噪聲，x為輸入的人臉圖像，P_video(v)表示真實(shí)視頻的分布，P_data(x)、P_z(z)和P_c(c)分別表示x、z和c的分布。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述生成器的分類損失函數(shù)表示為：

其中，Q是分類網(wǎng)絡(luò)，c為目標(biāo)類別，z為隨機(jī)噪聲，x為輸入的人臉圖像，P_data(x)、P_z(z)和P_c(c)分別表示x、z和c的分布，函數(shù)P表示對(duì)應(yīng)項(xiàng)的分布。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述生成器的重構(gòu)損失函數(shù)表示為：

其中表示生成視頻的第一幀，x為輸入的人臉圖像，表示生成的視頻，表示的分布，P_x(x)表示x的分布。

7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其中，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1至6中任一項(xiàng)所述方法的步驟。

8.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，在所述存儲(chǔ)器上存儲(chǔ)有能夠在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)權(quán)利要求1至6中任一項(xiàng)所述的方法的步驟。