[發(fā)明專(zhuān)利]動(dòng)漫圖像生成方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911285100.2
• 申請(qǐng)日: 2019-12-13
• 公開(kāi)（公告）號(hào): CN111080512B
• 公開(kāi)（公告）日: 2023-08-15
• 發(fā)明（設(shè)計(jì)）人: 李鵬;裴崢;柯聰梁;陳藝勇;肖夢(mèng);李晉瑞;張偉;王堃;曾思達(dá)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 咪咕動(dòng)漫有限公司;咪咕文化科技有限公司
• 主分類(lèi)號(hào): G06T3/00
• 分類(lèi)號(hào): G06T3/00;G06T7/13
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王宇楊

1.一種動(dòng)漫圖像生成方法，其特征在于，包括：

獲取待轉(zhuǎn)換的涂鴉作品，根據(jù)所述待轉(zhuǎn)換的涂鴉作品生成所述待轉(zhuǎn)換的涂鴉作品的特征圖；

將所述待轉(zhuǎn)換的涂鴉作品的特征圖輸入動(dòng)漫圖像生成模型，生成由所述待轉(zhuǎn)換的涂鴉作品轉(zhuǎn)換而來(lái)的動(dòng)漫圖像；其中，

所述動(dòng)漫圖像生成模型是基于涂鴉作品以及與所述涂鴉作品對(duì)應(yīng)的動(dòng)漫圖像，通過(guò)對(duì)生成式對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的；

所述動(dòng)漫圖像生成方法還包括：

采集多組動(dòng)漫圖像和涂鴉作品；同一組中的動(dòng)漫圖像和涂鴉作品具有對(duì)應(yīng)關(guān)系；

根據(jù)所述多組動(dòng)漫圖像和涂鴉作品，通過(guò)對(duì)生成式對(duì)抗網(wǎng)絡(luò)的訓(xùn)練得到動(dòng)漫圖像生成模型；

所述特征圖包括邊緣輪廓圖；相應(yīng)地，所述根據(jù)所述多組動(dòng)漫圖像和涂鴉作品，通過(guò)對(duì)生成式對(duì)抗網(wǎng)絡(luò)的訓(xùn)練得到動(dòng)漫圖像生成模型包括：

構(gòu)建生成式對(duì)抗網(wǎng)絡(luò)，所述生成式對(duì)抗網(wǎng)絡(luò)包括生成器和判別器；

根據(jù)所述動(dòng)漫圖像生成存在區(qū)域空缺的動(dòng)漫圖像；

根據(jù)與所述動(dòng)漫圖像對(duì)應(yīng)的涂鴉作品生成涂鴉作品的邊緣輪廓圖；

根據(jù)對(duì)一組中的動(dòng)漫圖像、存在區(qū)域空缺的動(dòng)漫圖像和涂鴉作品的邊緣輪廓圖的處理，更新所述生成器和所述判別器的權(quán)重參數(shù)，完成所述生成式對(duì)抗網(wǎng)絡(luò)的一次訓(xùn)練；計(jì)算當(dāng)前次訓(xùn)練的損失，在損失收斂前，采用另一組中的動(dòng)漫圖像、存在區(qū)域空缺的動(dòng)漫圖像和涂鴉作品的邊緣輪廓圖繼續(xù)所述生成式對(duì)抗網(wǎng)絡(luò)的訓(xùn)練；

將訓(xùn)練最終得到的生成器作為動(dòng)漫圖像生成模型。

2.根據(jù)權(quán)利要求1所述的動(dòng)漫圖像生成方法，其特征在于，所述特征圖包括邊緣輪廓圖和/或顏色分布圖；其中，所述顏色分布圖是對(duì)圖像做中值濾波和平滑顏色域后得到的。

3.根據(jù)權(quán)利要求1所述的動(dòng)漫圖像生成方法，其特征在于，所述特征圖包括邊緣輪廓圖和顏色分布圖；相應(yīng)地，所述根據(jù)所述多組動(dòng)漫圖像和涂鴉作品，通過(guò)對(duì)生成式對(duì)抗網(wǎng)絡(luò)的訓(xùn)練得到動(dòng)漫圖像生成模型包括：

構(gòu)建生成式對(duì)抗網(wǎng)絡(luò)，所述生成式對(duì)抗網(wǎng)絡(luò)包括生成器和判別器；

根據(jù)所述動(dòng)漫圖像生成存在區(qū)域空缺的動(dòng)漫圖像；

根據(jù)與所述動(dòng)漫圖像對(duì)應(yīng)的涂鴉作品生成涂鴉作品的邊緣輪廓圖和涂鴉作品的顏色分布圖；

根據(jù)對(duì)一組中的動(dòng)漫圖像、存在區(qū)域空缺的動(dòng)漫圖像和涂鴉作品的邊緣輪廓圖的處理，更新所述生成器和所述判別器的權(quán)重參數(shù)，完成所述生成式對(duì)抗網(wǎng)絡(luò)的一次訓(xùn)練；計(jì)算當(dāng)前次訓(xùn)練的損失，在損失收斂前，采用另一組中的動(dòng)漫圖像、存在區(qū)域空缺的動(dòng)漫圖像和涂鴉作品的邊緣輪廓圖繼續(xù)所述生成式對(duì)抗網(wǎng)絡(luò)的訓(xùn)練；得到經(jīng)過(guò)第一輪訓(xùn)練的生成器和判別器；

基于第一輪訓(xùn)練得到的生成器和判別器，根據(jù)對(duì)一組中的動(dòng)漫圖像和涂鴉作品的邊緣輪廓圖、顏色分布圖的處理，更新所述生成器和所述判別器的權(quán)重參數(shù)，完成所述生成式對(duì)抗網(wǎng)絡(luò)的一次訓(xùn)練；計(jì)算當(dāng)前次訓(xùn)練的損失，在損失收斂前，采用另一組中的動(dòng)漫圖像和涂鴉作品的邊緣輪廓圖、顏色分布圖繼續(xù)所述生成式對(duì)抗網(wǎng)絡(luò)的訓(xùn)練；

將最終得到的生成器作為動(dòng)漫圖像生成模型。

4.根據(jù)權(quán)利要求3所述的動(dòng)漫圖像生成方法，其特征在于，所述計(jì)算當(dāng)前次訓(xùn)練的損失包括：

計(jì)算生成圖像的每個(gè)像素點(diǎn)的L1損失；

計(jì)算生成式對(duì)抗網(wǎng)絡(luò)的對(duì)抗損失；

計(jì)算卷積過(guò)程中的特征損失；

將生成圖像的每個(gè)像素點(diǎn)的L1損失、生成式對(duì)抗網(wǎng)絡(luò)的對(duì)抗損失和卷積過(guò)程中的特征損失求和。

5.根據(jù)權(quán)利要求3所述的動(dòng)漫圖像生成方法，其特征在于，所述根據(jù)所述待轉(zhuǎn)換的涂鴉作品生成所述待轉(zhuǎn)換的涂鴉作品的顏色分布圖包括：

對(duì)所述待轉(zhuǎn)換的涂鴉作品做中值濾波，去除所述待轉(zhuǎn)換的涂鴉作品中顏色部分的干擾噪聲；

對(duì)經(jīng)過(guò)中值濾波的待轉(zhuǎn)換的涂鴉作品做平滑顏色域的處理；

對(duì)平滑顏色域后的待轉(zhuǎn)換的涂鴉作品做中值濾波，得到待轉(zhuǎn)換的涂鴉作品的顏色分布圖。