[發(fā)明專利]一種生成對抗網(wǎng)絡(luò)的訓(xùn)練方法、圖像風(fēng)格轉(zhuǎn)換方法和裝置

在審

• 申請?zhí)枺?/td>: 202110288532.X
• 申請日: 2021-03-17
• 公開（公告）號: CN112967180A
• 公開（公告）日: 2021-06-15
• 發(fā)明（設(shè)計）人: 涂弘德;張為義;羅士杰
• 申請（專利權(quán)）人: 福建庫克智能科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 余菲

1.一種生成對抗網(wǎng)絡(luò)的訓(xùn)練方法，其特征在于，包括：

獲取原始風(fēng)格的待訓(xùn)練圖像；

利用所述待訓(xùn)練圖像對所述生成對抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以獲得訓(xùn)練后的生成對抗網(wǎng)絡(luò)；

其中，所述生成對抗網(wǎng)絡(luò)包括生成網(wǎng)絡(luò)，所述生成網(wǎng)絡(luò)包括卷積層、風(fēng)格轉(zhuǎn)換層、反卷積層和人臉五官專注層，所述卷積層用于對所述待訓(xùn)練圖像進(jìn)行卷積運(yùn)算，以獲得所述原始風(fēng)格的初始特征圖，所述風(fēng)格轉(zhuǎn)換層用于將所述初始特征圖轉(zhuǎn)換成目標(biāo)風(fēng)格的中間特征圖，所述反卷積層用于對所述中間特征圖進(jìn)行反卷積運(yùn)算，以獲得所述目標(biāo)風(fēng)格的輸出圖像，所述人臉五官專注層用于在通過所述反卷積層對所述中間特征圖進(jìn)行反卷積運(yùn)算的過程中，對所述中間特征圖中的像素值進(jìn)行權(quán)重分布，以突出所述中間特征圖中的人臉五官特征。

2.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其特征在于，所述生成對抗網(wǎng)絡(luò)還包括判別網(wǎng)絡(luò)，所述判別網(wǎng)絡(luò)包括圖像處理層和人臉五官識別層；

其中，所述利用所述待訓(xùn)練圖像對所述生成對抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以獲得訓(xùn)練后的生成對抗網(wǎng)絡(luò)，包括：

獲取與所述待訓(xùn)練圖像對應(yīng)的目標(biāo)風(fēng)格的目標(biāo)圖像；

通過所述圖像處理層分別對所述輸出圖像和所述目標(biāo)圖像進(jìn)行屏蔽處理，以獲得所述輸出圖像中的人臉五官圖像和所述目標(biāo)圖像中的人臉五官圖像；

通過所述人臉五官識別層對所述輸出圖像中的人臉五官圖像和所述目標(biāo)圖像中的人臉五官圖像進(jìn)行人臉五官的識別，以確定所述輸出圖像中的人臉五官圖像和所述目標(biāo)圖像中的人臉五官圖像的五官相似值。

3.根據(jù)權(quán)利要求2所述的訓(xùn)練方法，其特征在于，所述判別網(wǎng)絡(luò)還包括風(fēng)格轉(zhuǎn)換識別層；

其中，所述利用所述待訓(xùn)練圖像對所述生成對抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以獲得訓(xùn)練后的生成對抗網(wǎng)絡(luò)，還包括：

通過所述風(fēng)格轉(zhuǎn)換識別層對所述輸出圖像和所述目標(biāo)圖像進(jìn)行圖像風(fēng)格的識別，以獲得所述輸出圖像和所述目標(biāo)圖像的圖像風(fēng)格相似值。

4.根據(jù)權(quán)利要求3所述的訓(xùn)練方法，其特征在于，所述利用所述待訓(xùn)練圖像對所述生成對抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以獲得訓(xùn)練后的生成對抗網(wǎng)絡(luò)，還包括：

根據(jù)所述五官相似值和所述圖像風(fēng)格相似值，對所述生成對抗網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)整。

5.一種圖像風(fēng)格轉(zhuǎn)換方法，其特征在于，包括：

獲取原始風(fēng)格的待轉(zhuǎn)換圖像；

通過預(yù)先訓(xùn)練好的生成對抗網(wǎng)絡(luò)中的生成網(wǎng)絡(luò)對所述待轉(zhuǎn)換圖像的圖像風(fēng)格進(jìn)行轉(zhuǎn)換，以獲得目標(biāo)風(fēng)格的重建圖像，其中，所述預(yù)先訓(xùn)練好的生成對抗網(wǎng)絡(luò)為通過權(quán)利要求1-4任一項所述的生成對抗網(wǎng)絡(luò)的訓(xùn)練方法訓(xùn)練后得到的。

6.一種生成對抗網(wǎng)絡(luò)的訓(xùn)練裝置，其特征在于，包括：

第一獲取模塊，用于獲取原始風(fēng)格的待訓(xùn)練圖像；

訓(xùn)練模塊，用于利用所述待訓(xùn)練圖像對所述生成對抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以獲得訓(xùn)練后的生成對抗網(wǎng)絡(luò)；

其中，所述生成對抗網(wǎng)絡(luò)包括生成網(wǎng)絡(luò)，所述生成網(wǎng)絡(luò)包括卷積層、風(fēng)格轉(zhuǎn)換層、反卷積層和人臉五官專注層，所述卷積層用于對所述待訓(xùn)練圖像進(jìn)行卷積運(yùn)算，以獲得所述原始風(fēng)格的初始特征圖，所述風(fēng)格轉(zhuǎn)換層用于將所述初始特征圖轉(zhuǎn)換成目標(biāo)風(fēng)格的中間特征圖，所述反卷積層用于對所述中間特征圖進(jìn)行反卷積運(yùn)算，以獲得所述目標(biāo)風(fēng)格的輸出圖像，所述人臉五官專注層用于在通過所述反卷積層對所述中間特征圖進(jìn)行反卷積運(yùn)算的過程中，對所述中間特征圖中的像素值進(jìn)行權(quán)重分布，以突出所述中間特征圖中的人臉五官特征。

7.根據(jù)權(quán)利要求6所述的訓(xùn)練裝置，其特征在于，所述生成對抗網(wǎng)絡(luò)還包括判別網(wǎng)絡(luò)，所述判別網(wǎng)絡(luò)包括圖像處理層和人臉五官識別層；

所述訓(xùn)練模塊，具體用于：獲取與所述待訓(xùn)練圖像對應(yīng)的目標(biāo)風(fēng)格的目標(biāo)圖像；通過所述圖像處理層分別對所述輸出圖像和所述目標(biāo)圖像進(jìn)行屏蔽處理，以獲得所述輸出圖像中的人臉五官圖像和所述目標(biāo)圖像中的人臉五官圖像；通過所述人臉五官識別層對所述輸出圖像中的人臉五官圖像和所述目標(biāo)圖像中的人臉五官圖像進(jìn)行人臉五官的識別，以確定所述輸出圖像中的人臉五官圖像和所述目標(biāo)圖像中的人臉五官圖像的五官相似值。