[發(fā)明專(zhuān)利]生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練方法、圖像換臉、視頻換臉?lè)椒把b置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010592443.X
• 申請(qǐng)日: 2020-06-24
• 公開(kāi)（公告）號(hào): CN111783603A
• 公開(kāi)（公告）日: 2020-10-16
• 發(fā)明（設(shè)計(jì)）人: 李玉樂(lè);陳德健;項(xiàng)偉;顏樂(lè)駒
• 申請(qǐng)（專(zhuān)利權(quán)）人: 有半島（北京）信息科技有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62;G06N3/08
• 代理公司: 北京品源專(zhuān)利代理有限公司 11332
• 代理人: 孟金喆

1.一種生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，包括：

獲取包含第一人臉的原圖像和包含第二人臉的目標(biāo)圖像；

初始化生成對(duì)抗網(wǎng)絡(luò)的生成器和判別器；

將所述原圖像和所述目標(biāo)圖像輸入所述生成器中進(jìn)行訓(xùn)練獲得換臉圖像，所述生成器用于從所述原圖像提取第一人臉的屬性特征圖，從所述目標(biāo)圖像中提取第二人臉的身份特征，并將所述身份特征注入所述屬性特征圖中生成混合特征圖，以及根據(jù)所述身份特征和所述屬性特征圖對(duì)所述混合特征圖進(jìn)行解碼得到所述第二人臉替換所述第一人臉后的換臉圖像；

將所述原圖像和所述換臉圖像輸入所述判別器進(jìn)行訓(xùn)練得到判定值；

根據(jù)所述判定值、所述換臉圖像、所述原圖像和所述目標(biāo)圖像對(duì)所述生成器和所述判別器的參數(shù)進(jìn)行調(diào)整。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述初始化生成對(duì)抗網(wǎng)絡(luò)的生成器和判別器，包括：

初始化生成對(duì)抗網(wǎng)絡(luò)的判別器的參數(shù)、生成器的編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)的參數(shù)，以及獲取訓(xùn)練好的用于所述生成器中的殘差網(wǎng)絡(luò)和身份提取網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述原圖像和所述目標(biāo)圖像輸入所述生成器中進(jìn)行訓(xùn)練獲得換臉圖像，包括：

采用所述編碼網(wǎng)絡(luò)對(duì)所述原圖像進(jìn)行編碼處理得到所述第一人臉的屬性特征圖；

將所述目標(biāo)圖像輸入所述身份提取網(wǎng)絡(luò)中提取所述第二人臉的身份特征；

采用所述殘差網(wǎng)絡(luò)將所述身份特征注入所述屬性特征圖中得到混合特征圖；

基于所述屬性特征和所述身份特征，采用所述解碼網(wǎng)絡(luò)對(duì)所述混合特征圖進(jìn)行解碼，獲得采用所述第二人臉替換所述第一人臉后的換臉圖像。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述編碼網(wǎng)絡(luò)包括多層下采樣卷積層，所述采用所述編碼網(wǎng)絡(luò)對(duì)所述原圖像進(jìn)行編碼處理得到所述第一人臉的屬性特征圖，包括：

對(duì)所述原圖像進(jìn)行預(yù)處理，獲得預(yù)處理后的原圖像；

將所述預(yù)處理后的原圖像輸入所述編碼網(wǎng)絡(luò)中，獲得每個(gè)下采樣卷積層輸出的下采樣特征圖；

其中，所述預(yù)處理包括調(diào)整圖像尺寸，所述編碼網(wǎng)絡(luò)的最后一層下采樣卷積層輸出的下采樣特征圖為所述第一人臉的屬性特征圖。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述采用所述殘差網(wǎng)絡(luò)將所述身份特征注入所述屬性特征圖中得到混合特征圖，包括：

對(duì)所述身份特征進(jìn)行轉(zhuǎn)換，獲得所述身份特征的身份特征均值和身份特征方差；

將所述身份特征均值、身份特征方差以及所述屬性特征圖輸入所述殘差網(wǎng)絡(luò)中，以通過(guò)所述殘差網(wǎng)絡(luò)將所述身份特征遷移到所述屬性特征圖上得到混合特征圖。

6.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，所述編碼網(wǎng)絡(luò)包括多層下采樣卷積層，所述解碼網(wǎng)絡(luò)包括多層上采樣卷積層，所述基于所述屬性特征和所述身份特征，采用所述解碼網(wǎng)絡(luò)對(duì)所述混合特征圖進(jìn)行解碼，獲得采用所述第二人臉替換所述第一人臉后的換臉圖像，包括：

將所述混合特征圖和所述身份特征拼接得到拼接特征；

將所述拼接特征輸入到所述解碼網(wǎng)絡(luò)中通過(guò)多層上采樣卷積層進(jìn)行采樣處理得到換臉圖像；

其中，針對(duì)所述解碼網(wǎng)絡(luò)中的每個(gè)上采樣卷積層，確定所述上采樣卷積層在所述編碼網(wǎng)絡(luò)中對(duì)應(yīng)的下采樣卷積層，獲取所述下采樣卷積層輸出的下采樣特征圖，以及獲取所述上采樣卷積層的前一上采樣卷積層輸出的上采樣特征，拼接所述下采樣特征圖和所述上采樣特征作為所述上采樣卷積層的解碼對(duì)象。

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述判定值、所述換臉圖像、所述原圖像和所述目標(biāo)圖像對(duì)所述生成器和所述判別器的參數(shù)進(jìn)行調(diào)整，包括：

根據(jù)所述判定值、所述換臉圖像、所述原圖像和所述目標(biāo)圖像計(jì)算總損失；

根據(jù)所述總損失對(duì)所述生成器和所述判別器的參數(shù)進(jìn)行調(diào)整。