[發明專利]一種基于U-GAT-IT改進的秦腔角色卡通化風格遷移的方法

有效

• 申請號: 202110037379.3
• 申請日: 2021-01-12
• 公開（公告）號: CN112802160B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 耿國華;馬星銳;劉喆;周明全;馮龍;李啟航;劉曉寧;劉陽洋
• 申請（專利權）人: 西北大學
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T7/11;G06N3/084;G06N3/0464
• 代理公司: 西安眾和至成知識產權代理事務所(普通合伙) 61249
• 代理人: 強宏超

1.一種基于U-GAT-IT改進的秦腔角色卡通化風格遷移的方法，其特征在于：包括以下步驟；

步驟1：獲取秦腔角色卡通數據集和人臉圖片集；

步驟2：使用pytorch構建原始的U-GAT-IT網絡框架，U-GAT-IT網絡框架包括包括生成器Generator和鑒別器Discriminator，在U-GAT-IT網絡框架中輸入步驟1中獲取的一張人臉圖像作為源域圖像x～X_S，同時輸入一張步驟1中獲取的秦腔角色卡通圖作為目標域圖像x～X_y；

步驟3：將步驟2中得到的源域圖像和目標域圖像通過兩個堆疊的up-down采樣卷積模塊，在保證語義信息位置不變的情況下提取源域圖像和目標域圖像的特征，后經過生成器Generator中的編碼器E_S編碼，得到編碼后的特征圖

步驟4：將步驟3中所得特征圖通過生成器Generator中一個二分類的輔助分類器η_s進行分類，區分圖像來自源域還是目標域，得到每個特征圖的權重信息W_S＝{W_s¹,W_s²,…,W_sⁿ}；

步驟5：將步驟4中所得每個特征圖的權重信息均與編碼后的特征圖相乘即得到有注意力的特征圖；

步驟6：將步驟5中得到的注意力特征圖通過1*1的卷積和激活函數層得到類激活圖

其中，a表示每個類激活圖，w表示每個特征圖的權重信息，E表示編碼后的特征圖；

步驟7：將步驟6中得到的類激活圖通過全連接層fc得到生成器Generator中解碼器G_t中Adaptive Layer-Instance Normalization層且用于AdaLIN做歸一化處理的2c個參數gamma和beta；

步驟8：將步驟7中得到的gamma和beta通過自適應殘差塊Adaptive Residual Blocks進一步生成圖像；

步驟9：將步驟8中所得圖像通過新增加的兩個堆疊up-down采樣卷積模塊，從嵌入特征中進一步生成目標域圖像；

步驟10：將步驟9中得到的目標域圖像通過鑒別器Discriminator中的CAM類激活圖判斷圖像的真偽；

步驟11：將步驟10中判斷出的結果通過U-GAT-IT網絡框架中的GAN Loss，Cycle Loss，Identity Loss，CAM Loss以及Face Loss損失函數計算得到秦腔角色特征的卡通圖像。

2.根據權利要求1所述的一種基于U-GAT-IT改進的秦腔角色卡通化風格遷移的方法，其特征在于：步驟7中所述AdaLIN中的Instance Normalization和Layer Normalization的歸一化公式分別為：

其中，μ_I和δ_I分別為Instance Normalization實例歸一化方式求出的均值和標準差，μ_L和δ_L分別為Layer Normalization層歸一化方式求出的均值和標準差；

所述AdaLIN中的Instance Normalization和Layer Normalization的歸一化加權求和公式為：

其中，λ為具有注意力的特征圖，γ為縮放因子，β為偏移量；θ是一個學習權重，通過反向傳播進行更新。

3.根據權利要求2所述的一種基于U-GAT-IT改進的秦腔角色卡通化風格遷移的方法，其特征在于：所述θ區間裁剪公式為：

θ←clip[0,1](θ-τΔθ)

其中，τ為學習率。

4.根據權利要求1-3任一項所述的一種基于U-GAT-IT改進的秦腔角色卡通化風格遷移的方法，其特征在于：步驟5和步驟9中所述的兩個堆疊up-down采樣卷積模塊均包括四對首尾相互對應的下采樣塊和上采樣快，目的是在進入主網絡之前，先提取圖片中人臉的表面特征，將輸入的圖像抽象成易于編碼的形式，特征提取的同時保證語義信息位置的不變。