[發(fā)明專利]基于生成對(duì)抗網(wǎng)絡(luò)的張嘴笑表情生成方法、裝置以及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202310152329.9
• 申請(qǐng)日: 2023-02-22
• 公開（公告）號(hào): CN116109477A
• 公開（公告）日: 2023-05-12
• 發(fā)明（設(shè)計(jì)）人: 占小路;陳進(jìn)山;羅鋮;劉洛麒
• 申請(qǐng)（專利權(quán)）人: 廈門美圖之家科技有限公司
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06V40/16;G06V10/25;G06V10/764;G06V10/82;G06N3/045;G06N3/0464;G06N3/0475;G06N3/09;G06N3/094;G06N3/084
• 代理公司: 廈門仕誠聯(lián)合知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 35227
• 代理人: 陳蓓蓓

1.一種基于生成對(duì)抗網(wǎng)絡(luò)的張嘴笑表情生成方法，其特征在于，所述方法包括：

對(duì)采集的原始人臉圖以及對(duì)應(yīng)所述原始人臉圖的張嘴笑目標(biāo)圖進(jìn)行預(yù)處理，將預(yù)處理后的所述原始人臉圖作為訓(xùn)練數(shù)據(jù)圖像，將預(yù)處理后的所述張嘴笑目標(biāo)圖作為目標(biāo)監(jiān)督圖像；

將所述訓(xùn)練數(shù)據(jù)圖像輸入包括編碼器以及stylegan2網(wǎng)絡(luò)所構(gòu)建的模型中并在所述目標(biāo)監(jiān)督圖像的監(jiān)督下、基于預(yù)設(shè)損失函數(shù)進(jìn)行訓(xùn)練，得到張嘴笑表情生成模型；

獲取待處理圖像并輸入所述張嘴笑表情生成模型，得到具有張嘴笑表情的結(jié)果生成圖。

2.根據(jù)權(quán)利要求1所述的一種基于生成對(duì)抗網(wǎng)絡(luò)的張嘴笑表情生成方法，其特征在于，所述對(duì)采集的原始人臉圖以及對(duì)應(yīng)所述原始人臉圖的張嘴笑目標(biāo)圖進(jìn)行預(yù)處理，包括：

對(duì)所述原始人臉圖以及所述張嘴笑目標(biāo)圖進(jìn)行幾何操作、以及亮度和噪聲擾動(dòng)，其中，所述幾何操作包括裁剪、平移以及左右翻轉(zhuǎn)。

3.根據(jù)權(quán)利要求1所述的一種基于生成對(duì)抗網(wǎng)絡(luò)的張嘴笑表情生成方法，其特征在于，所述stylegan2網(wǎng)絡(luò)包括生成器以及判別器；所述將所述訓(xùn)練數(shù)據(jù)圖像輸入包括編碼器以及stylegan2網(wǎng)絡(luò)所構(gòu)建的模型中并在所述目標(biāo)監(jiān)督圖像的監(jiān)督下、基于預(yù)設(shè)損失函數(shù)進(jìn)行訓(xùn)練，包括：

通過所述編碼器對(duì)所述訓(xùn)練數(shù)據(jù)圖像進(jìn)行特征提取并映射至隱空間，輸出第一圖像；

將所述第一圖像輸入所述生成器進(jìn)行臉部細(xì)節(jié)生成，輸出第二圖像；

將所述第二圖像輸入所述判別器中并基于所述目標(biāo)監(jiān)督圖像進(jìn)行判別。

4.根據(jù)權(quán)利要求3所述的一種基于生成對(duì)抗網(wǎng)絡(luò)的張嘴笑表情生成方法，其特征在于，所述通過所述編碼器對(duì)所述訓(xùn)練數(shù)據(jù)圖像進(jìn)行特征提取并映射至隱空間，包括：

通過所述編碼器對(duì)所述訓(xùn)練數(shù)據(jù)圖像進(jìn)行9次卷積下采樣操作。

5.根據(jù)權(quán)利要求3所述的一種基于生成對(duì)抗網(wǎng)絡(luò)的張嘴笑表情生成方法，其特征在于，所述將所述第一圖像輸入所述生成器進(jìn)行臉部細(xì)節(jié)生成，包括：

通過所述生成器對(duì)所述第一圖像進(jìn)行9次卷積上采樣操作。

6.根據(jù)權(quán)利要求3所述的一種基于生成對(duì)抗網(wǎng)絡(luò)的張嘴笑表情生成方法，其特征在于，所述張嘴笑表情生成模型還包括預(yù)訓(xùn)練的人臉屬性分類器；所述將所述訓(xùn)練數(shù)據(jù)圖像輸入包括編碼器以及stylegan2網(wǎng)絡(luò)所構(gòu)建的模型中并在所述目標(biāo)監(jiān)督圖像的監(jiān)督下、基于預(yù)設(shè)損失函數(shù)進(jìn)行訓(xùn)練，包括：

通過所述人臉屬性分類器對(duì)所述第二圖像中根據(jù)預(yù)設(shè)的感興趣區(qū)域的不同人臉區(qū)域進(jìn)行分類。

7.根據(jù)權(quán)利要求1所述的一種基于生成對(duì)抗網(wǎng)絡(luò)的張嘴笑表情生成方法，其特征在于，所述預(yù)設(shè)損失函數(shù)為L(zhǎng)oss＝θ₁Loss_cls+θ₂Loss_l1+θ₃Loss_percep+Loss_G，θ₁、θ₂、θ₃為損失權(quán)重；其中，

Loss_cls＝Y(jié)-roi*Y'₂，式中，roi表示預(yù)先設(shè)定感興趣區(qū)域的二值圖，Y表示將roi與G相乘即感興趣區(qū)域分類結(jié)果輸入經(jīng)過預(yù)訓(xùn)練的人臉屬性分類器得到的當(dāng)前分類結(jié)果，G表示生成器各層的輸出結(jié)果上采樣至同一尺寸并按通道拼接結(jié)果，Y'表示所述目標(biāo)監(jiān)督圖像對(duì)應(yīng)的像素分類結(jié)果；

Loss_l1＝||X_g-X_r||₂，式中，X_g表示生成器的輸出，X_r表示所述目標(biāo)監(jiān)督圖像；

式中，j表示感知損失網(wǎng)絡(luò)的第j層，C_j、H_j、W_j為第j層特征圖大小；

其中，式中，C·表示判別器的輸出，E_x·表示樣本的平均值，X_r表示所述目標(biāo)監(jiān)督圖像。