[發明專利]一種基于U-GAT-IT改進的秦腔角色卡通化風格遷移的方法

有效

• 申請號: 202110037379.3
• 申請日: 2021-01-12
• 公開（公告）號: CN112802160B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 耿國華;馬星銳;劉喆;周明全;馮龍;李啟航;劉曉寧;劉陽洋
• 申請（專利權）人: 西北大學
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T7/11;G06N3/084;G06N3/0464
• 代理公司: 西安眾和至成知識產權代理事務所(普通合伙) 61249
• 代理人: 強宏超

本發明公開一種基于U?GAT?IT改進的秦腔角色卡通化風格遷移的方法，首先制作了獨有的秦腔角色卡通數據集，并對搜集到的人臉圖片進行修改尺寸大小等預處理操作，其次在U?GAT?IT網絡的基礎上，在編碼器之前和解碼器之后均增加了兩個堆疊的up?down采樣卷積模塊，逐步提升模型的特征抽象和重建能力。另外，在U?GAT?IT網絡中加入face loss損失函數，約束新生成的秦腔角色卡通圖，讓秦腔角色卡通圖的身份信息與輸入的人臉信息盡可能保持一致。最后通過pytorch構建網絡模型，將處理好的人臉圖像傳入到該網絡中，得到具有秦腔角色特征的卡通圖。其解決了卡通圖像在風格遷移時易丟失原圖像的身份信息的問題，改進了U?GAT?IT需要大量數據集的缺陷，并且能更準確的勾勒出卡通圖的細節信息。

技術領域

本發明屬于計算機圖形學處理技術領域，具體涉及一種基于U-GAT-IT改進的秦腔角色卡通化風格遷移的方法。

背景技術

秦腔是相當古老的劇種，堪稱中國戲曲的鼻祖。秦腔的角色行當基本上繼承了元雜劇與明代傳奇“江湖十二角色”的規模體制。從總的看來，主要是生、旦、凈、丑四大行。隨著現代經濟高速發展，國民大眾的娛樂方式發生了變化。秦腔原始的娛樂性功能被削弱，受眾群體老齡化，面臨著生存和發展的危機。將秦腔人臉圖像在U-GAT-IT的基礎上通過人像卡通風格遷移轉換為卡通風格的圖像，借助計算機將秦腔藝術這種非物質文化遺產煥活生機，實現秦腔藝術的文化創新，以更加現代化的方式讓人們重拾對傳統戲劇的興趣。

其中，U-GAT-IT是指具有自適應層實例歸一化的無監督生成注意網絡，用于圖像到圖像的翻譯。

人像卡通風格遷移是指在維持原始圖像身份信息不變，保留盡可能多的紋理細節同時將真實的人臉圖像轉換為卡通風格非真實感的圖像。卡通圖像是簡化處理后的線條，該線條紋理清晰，色塊平滑，但采用該技術進行人像卡通化處理過程中，易存在以下技術問題，如丟失人臉的身份信息和圖像細節、卡通圖像數據的獲取難度大以及卡通圖像的制作成本高等問題。

發明內容

為克服現有技術的不足，本發明目的在于提供一種基于U-GAT-IT改進的秦腔角色卡通化風格遷移的方法，其解決了卡通圖像在風格遷移時易丟失原圖像身份信息的問題，改進了U-GAT-IT需要大量數據集的缺陷，并且能更準確的勾勒出卡通圖的細節信息。

為實現上述目的，本發明采用的技術方案是：

一種基于U-GAT-IT改進的秦腔角色卡通化風格遷移的方法，包括以下步驟；

步驟1：獲取秦腔角色卡通數據集和人臉圖片集；

步驟2：使用pytorch構建原始的U-GAT-IT網絡框架，U-GAT-IT網絡框架包括生成器Generator和鑒別器Discriminator，在U-GAT-IT網絡框架中輸入步驟1中獲取的一張人臉圖像作為源域圖像x～X_S，同時輸入一張步驟1中獲取的秦腔角色卡通圖作為目標域圖像x～X_y；

步驟3：將步驟2中得到的源域圖像和目標域圖像通過兩個堆疊的up-down采樣卷積模塊，在保證語義信息位置不變的情況下提取源域圖像和目標域圖像的特征，后經過生成器Generator中的編碼器E_S編碼，得到編碼后的特征圖

步驟4：將步驟3中所得特征圖通過生成器Generator中一個二分類的輔助分類器η_s進行分類，區分圖像來自源域還是目標域，得到每個特征圖的權重信息

步驟5：將步驟4中所得每個特征圖的權重信息均與編碼后的特征圖相乘即得到有注意力的特征圖；

步驟6：將步驟5中得到的注意力特征圖通過1*1的卷積和激活函數層得到類激活圖

其中，a表示每個類激活圖，w表示每個特征圖的權重信息，E表示編碼后的特征圖；