[發(fā)明專利]用于生成卡通圖像的方法、計(jì)算設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202111076749.0
• 申請(qǐng)日: 2021-09-14
• 公開(kāi)（公告）號(hào): CN113838159B
• 公開(kāi)（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 劉思遠(yuǎn);甘啟;章子維;張良國(guó)
• 申請(qǐng)（專利權(quán)）人: 上海任意門科技有限公司
• 主分類號(hào): G06T11/00
• 分類號(hào): G06T11/00;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G06Q50/00
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 馬明月

本公開(kāi)提供了一種生成卡通圖像方法、計(jì)算設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該方法包括：獲取關(guān)于目標(biāo)對(duì)象的目標(biāo)對(duì)象圖像和關(guān)于卡通對(duì)象的卡通圖像；基于目標(biāo)區(qū)域的屬性信息，針對(duì)目標(biāo)對(duì)象圖像和卡通圖像進(jìn)行分類；確定具有相同的屬性信息的目標(biāo)對(duì)象輸入圖像和卡通輸入圖像；經(jīng)由第一生成器，將目標(biāo)對(duì)象輸入圖像轉(zhuǎn)化為卡通轉(zhuǎn)化圖像以便生成目標(biāo)對(duì)象重建圖像；經(jīng)由第二生成器，將卡通輸入圖像轉(zhuǎn)化為目標(biāo)對(duì)象轉(zhuǎn)化圖像以便生成卡通重建圖像；以及經(jīng)由第一判別器和第二判別器，分別確定目標(biāo)對(duì)象重建圖像和卡通重建圖像的真?zhèn)危杂糜谟?xùn)練第一神經(jīng)網(wǎng)絡(luò)模型。本公開(kāi)能夠顯著提高用于人像轉(zhuǎn)換的模型的學(xué)習(xí)效率、以及提升所生成卡通圖像與人像原圖的相似度。

技術(shù)領(lǐng)域

本發(fā)明概括而言涉及機(jī)器學(xué)習(xí)領(lǐng)域，更具體地，涉及一種用于生成卡通圖像的方法、計(jì)算設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著各種社交平臺(tái)的不斷發(fā)展，越來(lái)越多的用戶將自拍圖像轉(zhuǎn)換成具有卡通化人像效果的圖像。傳統(tǒng)的生成卡通圖像的方案例如是利用人像原圖和卡通圖作為訓(xùn)練數(shù)據(jù)，對(duì)基于神經(jīng)網(wǎng)絡(luò)所構(gòu)建的人像轉(zhuǎn)換模型進(jìn)行訓(xùn)練，以便生成卡通化人像圖像。

在上述傳統(tǒng)的生成卡通圖像的方案中，通常隨機(jī)選取人像原圖和卡通圖作為訓(xùn)練數(shù)據(jù)，采用無(wú)監(jiān)督學(xué)習(xí)的訓(xùn)練方式，對(duì)人像轉(zhuǎn)換模型進(jìn)行訓(xùn)練。由于隨機(jī)選取的人像原圖和卡通圖通常存在較大差異，一方面這種差異性引導(dǎo)會(huì)給網(wǎng)絡(luò)的學(xué)習(xí)增加難度、降低模型的學(xué)習(xí)效果；另一方面顯著降低了所生成的卡通圖像與真人圖像的相似度。

綜上，傳統(tǒng)的生成卡通圖像的方案存在的不足之處在于：人像轉(zhuǎn)換模型的網(wǎng)絡(luò)學(xué)習(xí)難度較高、學(xué)習(xí)效率較低，并且所生成的卡通圖像與人像原圖的相似度較低。

發(fā)明內(nèi)容

針對(duì)上述問(wèn)題，本發(fā)明提供了一種用于生成卡通圖像的方法、計(jì)算設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，能夠顯著提高用于人像轉(zhuǎn)換的模型的學(xué)習(xí)效率、以及提升所生成卡通圖像與人像原圖的相似度。

根據(jù)本發(fā)明第一方面，提供了一種生成卡通圖像方法。該方法包括：獲取關(guān)于目標(biāo)對(duì)象的目標(biāo)對(duì)象圖像和關(guān)于卡通對(duì)象的卡通圖像；基于目標(biāo)對(duì)象和卡通對(duì)象的目標(biāo)區(qū)域的屬性信息，針對(duì)目標(biāo)對(duì)象圖像和卡通圖像進(jìn)行分類，以用于生成目標(biāo)對(duì)象輸入圖像和卡通輸入圖像；確定具有相同的屬性信息的目標(biāo)對(duì)象輸入圖像和卡通輸入圖像，以用于訓(xùn)練第一神經(jīng)網(wǎng)絡(luò)模型，第一神經(jīng)網(wǎng)絡(luò)模型包括第一生成器、第二生成器、第一判別器和第二判別器；經(jīng)由第一生成器，將目標(biāo)對(duì)象輸入圖像轉(zhuǎn)化為卡通轉(zhuǎn)化圖像，以用于基于卡通轉(zhuǎn)化圖像生成目標(biāo)對(duì)象重建圖像；經(jīng)由第二生成器，將卡通輸入圖像轉(zhuǎn)化為目標(biāo)對(duì)象轉(zhuǎn)化圖像，以用于基于目標(biāo)對(duì)象轉(zhuǎn)化圖像生成卡通重建圖像；以及經(jīng)由第一判別器和第二判別器，分別確定目標(biāo)對(duì)象轉(zhuǎn)化圖像和卡通轉(zhuǎn)化圖像的真?zhèn)危杂糜谟?xùn)練第一神經(jīng)網(wǎng)絡(luò)模型，經(jīng)訓(xùn)練的第一神經(jīng)網(wǎng)絡(luò)模型用于基于所獲取的用戶圖像生成關(guān)于用戶的卡通圖像。

根據(jù)本發(fā)明的第二方面，提供了一種計(jì)算設(shè)備。該計(jì)算設(shè)備包括：至少一個(gè)處理器；以及至少一個(gè)存儲(chǔ)器，該至少一個(gè)存儲(chǔ)器被耦合到該至少一個(gè)處理器并且存儲(chǔ)用于由該至少一個(gè)處理器執(zhí)行的指令，該指令當(dāng)由該至少一個(gè)處理器執(zhí)行時(shí)，使得該計(jì)算設(shè)備執(zhí)行根據(jù)本公開(kāi)第一方面的方法。

根據(jù)本發(fā)明的第三方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序代碼，該計(jì)算機(jī)程序代碼在被運(yùn)行時(shí)執(zhí)行根據(jù)本公開(kāi)第一方面的方法。

在一些實(shí)施例中，用于生成卡通圖像還包括：交替地利用具有不同屬性信息的多個(gè)輸入圖像組來(lái)訓(xùn)練第一神經(jīng)網(wǎng)絡(luò)模型，多個(gè)輸入圖像組中的每一個(gè)輸入圖像組中所包括的目標(biāo)對(duì)象輸入圖像和卡通輸入圖像具有相同的屬性信息。

在一些實(shí)施例中，基于卡通轉(zhuǎn)化圖像生成目標(biāo)對(duì)象重建圖像包括：將卡通轉(zhuǎn)化圖像輸入第二生成器的編碼器，以便生成第一編碼；經(jīng)由第二生成器的殘差注意力模塊，提取第一編碼的特征；以及經(jīng)由第二生成器的解碼器，將所提取的第一編碼的特征轉(zhuǎn)化為目標(biāo)對(duì)象重建圖像。