[發(fā)明專利]一種前后景分離的熊貓照片卡通化方法

有效

• 申請?zhí)枺?/td>: 202011318378.8
• 申請日: 2020-11-23
• 公開（公告）號: CN112508991B
• 公開（公告）日: 2022-05-10
• 發(fā)明（設計）人: 周祺鈺;向城成;劉啟和;程紅蓉;周世杰
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06T7/13;G06T5/00;G06T5/30;G06V10/44;G06V10/774;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都九鼎天元知識產(chǎn)權代理有限公司 51214
• 代理人: 徐靜

1.一種前后景分離的熊貓照片卡通化方法，其特征在于，包括如下步驟：

步驟1，獲取熊貓照片數(shù)據(jù)集和卡通圖像數(shù)據(jù)集；

步驟2，對所述熊貓照片數(shù)據(jù)集和卡通圖像數(shù)據(jù)集進行圖像預處理：

步驟2.1，對所述熊貓照片數(shù)據(jù)集進行圖像分割得到前景掩膜矩陣和后景掩膜矩陣；

步驟2.2，將所述熊貓照片數(shù)據(jù)集分別與前景掩膜矩陣和后景掩膜矩陣做與運算得到前景圖像集和后景圖像集；

步驟2.3，對所述前景圖像集進行邊緣增強得到邊緣增強的前景圖像集；

步驟2.4，對所述卡通圖像數(shù)據(jù)集進行邊緣模糊得到邊緣模糊的卡通圖像數(shù)據(jù)集；

步驟3，構(gòu)建熊貓卡通圖像生成模型；所述熊貓卡通圖像生成模型包括生成器和判別器，所述生成器包括前景生成分支、后景生成分支和前后景合成分支；

步驟4，定義所述生成器的損失函數(shù)：

步驟4.1，定義前景生成分支的內(nèi)容損失函數(shù)L_{con_fg}(G_fg，D)，計算公式如下：

其中，l指特定VGG層的特征映射，表示邊緣增強的前景圖像集Q，q_r表示邊緣增強的前景圖像集Q中的第r個前景圖像，N₁表示前景圖像集中的前景圖像數(shù)量，G_fg(q_r)表示q_r經(jīng)前景生成分支后的輸出圖像，VGG_l(G_fg(q_r))表示G_fg(q_r)經(jīng)VGG網(wǎng)絡輸出的前景特征圖，VGG_l(q_r)表示q_r經(jīng)VGG網(wǎng)絡輸出的前景特征圖；

步驟4.2，定義后景生成分支的內(nèi)容損失函數(shù)L_{con_bg}(G_bg，D)，計算公式如下：

其中，表示原始的熊貓照片數(shù)據(jù)集P，p_k表示原始的熊貓照片數(shù)據(jù)集中的第k個熊貓照片，N₂表示熊貓照片數(shù)據(jù)集P中的熊貓照片數(shù)量；G_bg(p_k)表示p_k經(jīng)后景生成分支后的輸出圖像，VGG_l(G_bg(p_k))表示G_bg(p_k)經(jīng)VGG網(wǎng)絡輸出的后景特征圖，VGG_l(p_k)表示p_k經(jīng)VGG網(wǎng)絡輸出的后景特征圖；

步驟4.3，定義對抗損失函數(shù)L_adv(G_fu，D)，計算公式如下：

其中，表示原始的卡通圖像數(shù)據(jù)集C，c_i表示原始的卡通圖像數(shù)據(jù)集中的第i個卡通圖像，M₁表示卡通圖像數(shù)據(jù)集C中的卡通圖像數(shù)量；表示邊緣模糊的卡通圖像數(shù)據(jù)集E，e_j表示邊緣模糊的卡通圖像數(shù)據(jù)集中的第i個卡通圖像，M₂表示邊緣模糊的卡通圖像數(shù)據(jù)集E中的卡通圖像數(shù)量；表示前后景聚合特征；

步驟4.4，定義風格損失函數(shù)L_style(G_fu，D)，計算公式如下：

步驟4.5，所述生成器總損失函數(shù)為L(G，D)，計算公式如下：

L(G，D)＝ω₁L_{con_fg}(G_fg，D)+ω₂L_{con_bg}(G_bg，D)+L_adv(G_fu，D)+L_style(G_fu，D)

其中，ω₁、ω₂表示平衡前景生成分支和后景生成分支損失的權重；

步驟5，利用定義的損失函數(shù)訓練所述熊貓卡通圖像生成模型：

步驟5.1，將所述前景圖像集輸入所述前景生成分支，輸出前景圖像特征；

步驟5.2，將所述后景圖像集輸入所述后景生成分支，輸出后景圖像特征；

步驟5.3，將前景圖像特征和后景圖像特征輸入所述前后景合成分支，輸出前后景聚合特征；

步驟5.4，將所述前后景聚合特征，以及卡通圖像數(shù)據(jù)集和邊緣模糊的卡通圖像數(shù)據(jù)集輸入判別器，將所述判別器的輸出反作用于所述前景生成分支、后景生成分支和前后景合成分支，再利用損失函數(shù)進行對抗訓練，當損失函數(shù)趨于穩(wěn)定時結(jié)束訓練，得到訓練好的熊貓卡通圖像生成模型；

步驟6，將待卡通化的熊貓照片輸入所述訓練好的熊貓卡通圖像生成模型，得到卡通化后的熊貓照片。