[發(fā)明專利]用于生成卡通圖像的方法、計算設(shè)備和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202111076749.0
• 申請日: 2021-09-14
• 公開（公告）號: CN113838159B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計）人: 劉思遠;甘啟;章子維;張良國
• 申請（專利權(quán)）人: 上海任意門科技有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G06Q50/00
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 馬明月

1.一種用于生成卡通圖像的方法，包括：

獲取關(guān)于目標對象的目標對象圖像和關(guān)于卡通對象的卡通圖像；

基于目標對象和卡通對象的目標區(qū)域的屬性信息，針對目標對象圖像和卡通圖像進行分類，以用于生成目標對象輸入圖像和卡通輸入圖像；

確定具有相同的屬性信息的目標對象輸入圖像和卡通輸入圖像，以用于訓練第一神經(jīng)網(wǎng)絡(luò)模型，所述第一神經(jīng)網(wǎng)絡(luò)模型包括第一生成器、第二生成器、第一判別器和第二判別器；

經(jīng)由所述第一生成器，將所述目標對象輸入圖像轉(zhuǎn)化為卡通轉(zhuǎn)化圖像，以用于基于所述卡通轉(zhuǎn)化圖像生成目標對象重建圖像；

經(jīng)由所述第二生成器，將所述卡通輸入圖像轉(zhuǎn)化為目標對象轉(zhuǎn)化圖像，以用于基于目標對象轉(zhuǎn)化圖像生成卡通重建圖像；以及

經(jīng)由所述第一判別器和第二判別器，分別確定所述目標對象轉(zhuǎn)化圖像和所述卡通轉(zhuǎn)化圖像的真?zhèn)危杂糜谟柧毸龅谝簧窠?jīng)網(wǎng)絡(luò)模型，經(jīng)訓練的第一神經(jīng)網(wǎng)絡(luò)模型用于基于所獲取的用戶圖像生成關(guān)于用戶的卡通圖像。

2.根據(jù)權(quán)利要求1所述的方法，還包括：

交替地利用具有不同屬性信息的多個輸入圖像組來訓練所述第一神經(jīng)網(wǎng)絡(luò)模型，所述多個輸入圖像組中的每一個輸入圖像組中所包括的目標對象輸入圖像和卡通輸入圖像具有相同的屬性信息。

3.根據(jù)權(quán)利要求1所述的方法，其中基于所述卡通轉(zhuǎn)化圖像生成目標對象重建圖像包括：

將所述卡通轉(zhuǎn)化圖像輸入所述第二生成器的編碼器，以便生成第一編碼；

經(jīng)由第二生成器的殘差注意力模塊，提取所述第一編碼的特征；以及

經(jīng)由第二生成器的解碼器，將所提取的第一編碼的特征轉(zhuǎn)化為所述目標對象重建圖像。

4.根據(jù)權(quán)利要求1所述的方法，其中基于目標對象轉(zhuǎn)化圖像生成卡通重建圖像包括：

將所述目標對象轉(zhuǎn)化圖像輸入所述第一生成器的編碼器，以便生成第二編碼；

經(jīng)由第一生成器的殘差注意力模塊，提取所述第二編碼的特征；以及

經(jīng)由第一生成器的解碼器，將所提取的第二編碼的特征轉(zhuǎn)化為所述卡通重建圖像。

5.根據(jù)權(quán)利要求1所述的方法，其中經(jīng)由所述第一判別器和第二判別器分別確定所述目標對象轉(zhuǎn)化圖像和所述卡通轉(zhuǎn)化圖像的真?zhèn)伟ǎ?/p>

經(jīng)由所述第一判別器，提取所述目標對象重建圖像和所述目標對象輸入圖像的特征，以便生成關(guān)于所述目標對象轉(zhuǎn)化圖像的真?zhèn)危灰约?/p>

經(jīng)由所述第二判別器，提取所述卡通重建圖像和所述卡通輸入圖像的特征，以便生成關(guān)于卡通轉(zhuǎn)化圖像的真?zhèn)巍?/p>

6.根據(jù)權(quán)利要求1所述的方法，其中基于目標對象和卡通對象的目標區(qū)域的屬性針對目標對象圖像和卡通圖像進行分類以便分別生成目標對象圖像空間和卡通圖像空間包括：

經(jīng)由第二神經(jīng)網(wǎng)絡(luò)模型，提取目標對象圖像的圖像特征，以便識別目標對象的目標區(qū)域的第一位置信息，所述目標區(qū)域為臉部區(qū)域；

基于所述第一位置信息，裁剪目標對象圖像，以便生成目標對象輸入圖像，以用于基于所述目標對象輸入圖像確定目標對象的目標區(qū)域的第一屬性信息；

經(jīng)由第三神經(jīng)網(wǎng)絡(luò)模型，提取卡通圖像的圖像特征，識別卡通對象的目標區(qū)域的第二位置信息；

基于所述目標區(qū)域的第二位置信息，裁剪卡通圖像，以便生成卡通輸入圖像，以用于基于所述卡通輸入圖像確定卡通對象的目標區(qū)域的第二屬性信息；

響應(yīng)于確定所述第一屬性信息和所述第二屬性信息相匹配，基于所述第一屬性信息或所述第二屬性信息索引所述目標對象輸入圖像和卡通輸入圖像；以及

基于經(jīng)索引所述目標對象輸入圖像和卡通輸入圖像，分別生成目標對象圖像空間和卡通圖像空間。

7.根據(jù)權(quán)利要求6所述的方法，還包括：

基于所述第一屬性信息，生成第一屬性特征向量；

融合所述第一屬性特征向量和與所述第一屬性信息相關(guān)聯(lián)的目標對象輸入圖像，以便生成用于輸入神經(jīng)網(wǎng)絡(luò)模型的目標對象輸入數(shù)據(jù)；

基于所述第二屬性信息，生成第二屬性特征向量，所述第一屬性信息和所述第二屬性信息相匹配；以及

融合所述第二屬性特征向量和與所述第二屬性相關(guān)聯(lián)的卡通輸入圖像，以便生成用于輸入神經(jīng)網(wǎng)絡(luò)模型的卡通輸入數(shù)據(jù)。