[發(fā)明專利]結(jié)合風(fēng)格遷移的可控表情生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011618332.8
• 申請(qǐng)日: 2020-12-30
• 公開（公告）號(hào): CN112767519B
• 公開（公告）日: 2022-04-19
• 發(fā)明（設(shè)計(jì)）人: 姬艷麗;張浩
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06T13/40
• 分類號(hào): G06T13/40;G06N3/04;G06N3/08
• 代理公司: 成都行之專利代理事務(wù)所(普通合伙) 51220
• 代理人: 溫利平

1.一種結(jié)合風(fēng)格遷移的可控表情生成方法，其特征在于，包括以下步驟：

S1：獲取若干真實(shí)人臉表情圖像和動(dòng)漫風(fēng)格人臉表情圖像，對(duì)于每個(gè)真實(shí)人臉表情圖像獲取其對(duì)應(yīng)的AU向量作為AU向量標(biāo)簽；

S2：構(gòu)建和訓(xùn)練風(fēng)格遷移模塊，包括特征編碼器1和風(fēng)格遷移解碼器，其中特征編碼器1用于對(duì)真實(shí)人臉表情圖像進(jìn)行高維語(yǔ)義特征提取，風(fēng)格遷移解碼器用于對(duì)特征編碼器1輸出的特征進(jìn)行解碼得到動(dòng)漫風(fēng)格人臉表情圖像并輸出；

對(duì)步驟S1獲取的真實(shí)人臉表情圖像和動(dòng)漫風(fēng)格人臉表情圖像進(jìn)行隨機(jī)配對(duì)作為訓(xùn)練樣本，對(duì)風(fēng)格遷移模塊進(jìn)行無(wú)監(jiān)督訓(xùn)練；

S3：構(gòu)建可控表情生成對(duì)抗網(wǎng)絡(luò)，包括表情控制生成模塊和判別器模塊，其中：

表情控制生成模塊包括特征編碼器2、映射網(wǎng)絡(luò)、自適應(yīng)歸一化層、表情控制解碼器和掩碼計(jì)算層；表情控制生成模塊的輸入為風(fēng)格遷移模塊所輸出的動(dòng)漫風(fēng)格人臉表情圖像以及期望表情的AU向量，生成與該AU向量表情類別一致的動(dòng)漫風(fēng)格人臉表情圖像；其中：

特征編碼器2用于提取動(dòng)漫風(fēng)格人臉表情圖像的高維語(yǔ)義的人臉特征，輸出至自適應(yīng)歸一化層；

映射網(wǎng)絡(luò)用于對(duì)輸入的AU向量進(jìn)行解耦，將AU向量的長(zhǎng)度調(diào)整至與特征編碼器2輸出的人臉特征通道數(shù)一致，將解耦后的AU向量輸出至自適應(yīng)歸一化層；

自適應(yīng)歸一化層用于將特征編碼器2輸出的人臉特征和映射網(wǎng)絡(luò)解耦后的AU向量結(jié)合，將得到的特征輸出至表情控制解碼器；

表情控制解碼器用于對(duì)自適應(yīng)歸一化層輸出的特征進(jìn)行解碼，輸出注意力掩碼圖像A和顏色掩碼圖像C至掩碼計(jì)算層；表情控制解碼器包括上采樣網(wǎng)絡(luò)和兩層卷積網(wǎng)絡(luò)，其中上采樣網(wǎng)絡(luò)用于對(duì)輸入的特征進(jìn)行上采樣，兩層卷積網(wǎng)絡(luò)分別對(duì)上采樣網(wǎng)絡(luò)得到的特征進(jìn)行卷積后分別得到注意力掩碼圖像A和顏色掩碼圖像C輸出至掩碼計(jì)算層；

掩碼計(jì)算層用于將表情控制解碼器輸出的注意力掩碼圖像A和顏色掩碼圖像C與輸入的動(dòng)漫風(fēng)格人臉表情圖像相結(jié)合，輸出與給定AU向量一致的動(dòng)漫風(fēng)格人臉表情圖像；掩碼計(jì)算層采用如下公式計(jì)算，輸出AU向量為y_g的動(dòng)漫風(fēng)格人臉表情圖像

其中，表示表情控制生成模塊輸入的動(dòng)漫風(fēng)格人臉表情圖像；

判別器模塊包括AU預(yù)測(cè)器和風(fēng)格判別器，其中：

AU預(yù)測(cè)器的輸入為動(dòng)漫風(fēng)格人臉表情圖像，對(duì)該動(dòng)漫風(fēng)格人臉表情圖像的AU向量進(jìn)行預(yù)測(cè)，目的是能夠準(zhǔn)確預(yù)測(cè)出動(dòng)漫風(fēng)格人臉表情圖像具有的AU向量；

風(fēng)格判別器的輸入為動(dòng)漫風(fēng)格人臉表情圖像，輸出介于0和1之間真/偽值，目的是對(duì)動(dòng)漫風(fēng)格是否逼真進(jìn)行判別；

S4：記步驟S1中真實(shí)人臉表情圖像為其AU向量標(biāo)簽為y_o，將真實(shí)人臉表情圖像輸入至步驟S2中訓(xùn)練好的風(fēng)格遷移模塊，生成AU向量為y_o的動(dòng)漫風(fēng)格人臉表情圖像將動(dòng)漫風(fēng)格人臉表情圖像AU向量標(biāo)簽y_o和預(yù)設(shè)的期望表情的AU向量y_g作為訓(xùn)練樣本，對(duì)可控表情生成對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練；在訓(xùn)練過(guò)程中，對(duì)判別器模塊和表情控制生成模塊進(jìn)行交替訓(xùn)練，具體方法為：

判別器模塊訓(xùn)練時(shí)，固定住表情控制生成模塊的網(wǎng)絡(luò)權(quán)重參數(shù)；每次訓(xùn)練包含兩組輸入：第一組為動(dòng)漫風(fēng)格人臉表情圖像和對(duì)應(yīng)的AU向量標(biāo)簽y_o，第二組為表情控制生成模塊根據(jù)輸入的動(dòng)漫風(fēng)格人臉表情圖像和AU向量y_g生成的動(dòng)漫風(fēng)格人臉表情圖像及AU向量y_g；輸出為每組輸入預(yù)測(cè)的AU向量和真/偽值；然后根據(jù)預(yù)設(shè)的損失函數(shù)L計(jì)算出損失值優(yōu)化判別器模塊網(wǎng)絡(luò)參數(shù)，損失函數(shù)L為：

其中，表示圖像真/偽對(duì)抗損失，其計(jì)算公式如下：

其中，E[]表示求取期望，G是表情控制生成模塊，D_I指的是風(fēng)格判別器；是AU向量標(biāo)簽為y_o的動(dòng)漫風(fēng)格人臉表情圖像，y_g指的是期望的AU向量；表示表情控制生成模塊G根據(jù)輸入的圖像和AU向量y_g生成的動(dòng)漫風(fēng)格人臉表情圖像D_I是為了從風(fēng)格上區(qū)分出表情控制生成模塊G的輸入和輸出圖像，其輸出值D_I()表示風(fēng)格判別器D_I根據(jù)動(dòng)漫風(fēng)格人臉表情圖像所預(yù)測(cè)的真/偽值，D_I()是0到1之間的概率值，越接近0則表示該圖像的風(fēng)格與輸入的越不相似；

表示生成動(dòng)漫風(fēng)格人臉表情圖像時(shí)的注意力掩碼損失，根據(jù)動(dòng)漫風(fēng)格人臉表情圖像和AU向量y_g生成動(dòng)漫風(fēng)格人臉表情圖像時(shí)所產(chǎn)生的注意力掩碼圖像A得到，其計(jì)算公式如下：

其中，A表示表情控制生成模塊G根據(jù)和y_g輸出的注意力掩碼圖像，A_i,j表示A中像素點(diǎn)(i,j)的掩碼值，i＝1,2,…,H，j＝1,2,…,W；λ_TV是預(yù)設(shè)的超參數(shù)；

表示表情約束損失，其計(jì)算公式如下：

其中，D_y()表示AU預(yù)測(cè)器根據(jù)動(dòng)漫風(fēng)格人臉表情圖像輸出的該圖像的AU預(yù)測(cè)向量，||||₂表示求取二范數(shù)；

表示重建損失，其計(jì)算公式如下：

其中，表示根據(jù)動(dòng)漫風(fēng)格人臉表情圖像和AU向量標(biāo)簽y_o生成的動(dòng)漫風(fēng)格人臉表情圖像

λ_I、λ_A、λ_y、λ_rec是控制每部分損失相對(duì)重要程度的超參數(shù)；

以最小化損失值L為目標(biāo)，優(yōu)化表情控制生成模塊G的網(wǎng)絡(luò)參數(shù)；以最大化損失值L為目標(biāo)，優(yōu)化判別器模塊D的網(wǎng)絡(luò)參數(shù)；從而完成可控表情生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練；

表情控制生成模塊訓(xùn)練時(shí)，固定住判別器模塊的網(wǎng)絡(luò)權(quán)重參數(shù)；每次訓(xùn)練包含兩組輸入：第一組輸入為動(dòng)漫風(fēng)格人臉表情圖像和AU向量y_g，輸出生成的動(dòng)漫風(fēng)格人臉表情圖像將生成的動(dòng)漫風(fēng)格人臉表情圖像和AU向量y_g輸入到判別器模塊中，預(yù)測(cè)真/偽值和AU向量；第二組輸入為表情控制生成模塊根據(jù)第一組輸入而生成的AU向量為y_g的動(dòng)漫風(fēng)格人臉表情圖像及AU向量標(biāo)簽y_o，輸出AU向量為y_o的動(dòng)漫風(fēng)格人臉表情圖像然后根據(jù)預(yù)設(shè)的損失函數(shù)L計(jì)算出損失值優(yōu)化表情控制生成模塊網(wǎng)絡(luò)參數(shù)；

S5：對(duì)于某真實(shí)人臉表情圖像，當(dāng)需要生成期望表情的動(dòng)漫風(fēng)格人臉表情圖像時(shí)，將真實(shí)人臉圖像輸入至風(fēng)格遷移模塊得到動(dòng)漫風(fēng)格人臉表情圖像，將該動(dòng)漫風(fēng)格人臉表情圖像和期望表情的AU向量輸入表情控制生成模塊，得到期望表情的動(dòng)漫風(fēng)格人臉表情圖像。

2.根據(jù)權(quán)利要求1所述的可控表情生成方法，其特征在于，所述步驟S2中風(fēng)格遷移模塊采用CycleGAN網(wǎng)絡(luò)。