[發明專利]一種基于注意力生成對抗網絡人臉卡通畫生成方法

有效

• 申請號: 202110305575.4
• 申請日: 2021-03-23
• 公開（公告）號: CN112950661B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 于泗泓
• 申請（專利權）人: 大連民族大學;賽爾網絡有限公司
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/136;G06T7/90;G06V10/25;G06V10/44;G06V10/56;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 大連星海專利事務所有限公司 21208
• 代理人: 郭海英

一種基于注意力生成對抗網絡人臉卡通畫生成方法，屬于生成對抗網絡模型技術領域。這種人臉卡通畫生成方法將人臉卡通漫畫生成分為兩個部分，一部分為關鍵點邊緣檢測并裁剪出人臉區域，第二部分為通過一種基于注意力生成對抗網絡生成人臉卡通畫。該方法通過加入新的hourglass注意力機制模塊，建立基于U?GAT?IT方法的無監督注意力機制網絡以及濾波處理使人臉輪廓特征區域的局部化限定及形狀、紋理更清晰，解決了圖像失真的問題，同時實現了良好的邊緣輪廓過度融合。

技術領域

本發明涉及生成對抗網絡模型技術領域，更具體地說，本發明涉及一種基于注意力生成對抗網絡人臉卡通畫生成方法。

背景技術

卡通漫畫是一種重要的藝術形式，它具有獨特的繪畫手法，卡通漫畫的魅力在今天已經逐漸蔓延到世界各地，當今社會中接觸卡通漫畫的人們與日俱增。各個企業也逐漸開始使用卡通風格的人物或動物等作為形象代言或產品封面，也有人會為自己的社交賬號專門設計個性化的卡通漫畫頭像。傳統意義的卡通漫畫頭像一般采用手繪的方式，其需要花費大量的時間進行構圖、描邊、上色等步驟費時費力，因此價格也相對會昂貴一些，這種方式雖然可以獲得最精細自然的卡通頭像。如今科技迅速發展，許多個人定制軟件也應運而生。人臉卡通漫畫在我們日常生活中隨處可見，在QQ、微信、微博、Facebook等社交媒體平臺上被廣泛作為頭像使用。除此之外，還有許多人臉卡通漫畫的表情包、貼紙在人們聊天的時候所使用。卡通漫畫不僅廣泛應用于人們的生活娛樂之中，還給人們帶來了極大了樂趣。

傳統的人臉卡通漫畫生成方法中，一部分主要基于人臉五官輪廓信息生成簡單的線條，但不具備特定的藝術風格；另一部分基于機器學習的方法，通過對樣本進行簡單的學習，建立人臉圖像塊與卡通漫畫圖像塊之間的匹配關系，找到與原始圖像塊最為匹配的卡通圖像塊，再進行人臉卡通漫畫的合成。這種方法雖然能夠實現風格的轉換，

但與真實人臉的相似程度較低，同時存在表情不自然、效果較單一的問題，并且處理步驟復雜，效率較低。而深度學習作為機器學習的一個新的分支，因為其強大的學習能力，基于深度學習的算法在性能上都有良好的改善，對圖像處理領域的相關研究起到了關鍵性的作用，例如圖像分類、圖像分割、目標檢測與跟蹤等。除此之外，卷積神經網絡通過對圖像自動編碼解碼能夠實現圖像與圖像的相互轉換，從而能夠端到端地實現圖像風格的轉換，這讓自動生成人臉卡通漫畫成為可能。但由于人臉圖像的特殊性，個體與個體之間存在較大的差異性與獨特性，尤其體現在人臉五官部分，因此對于人臉圖像的風格轉換還需要進一步的研究。另一方面，目前對于人臉卡通漫畫自動生成的方法的研究不夠充分，仍然停留在手動變形處理的階段，無法實現自動化夸張處理。

基于注意力生成對抗網絡人臉卡通畫生成方法可以直接將真實人臉生成出卡通漫畫人臉。傳統的人臉風格化方法是利用圖像處理的技術，通過提取人臉面部特征位置，根據所需表情從素材庫中調取相應的五官貼圖，進行匹配或替換生成卡通圖像。在視頻圖像處理領域，利用非真實感渲染，通過學習特定風格的筆觸特征，模擬表現人臉區域的藝術化特質。傳統的人臉風格化方法是通過圖像處理技術實現人臉關鍵特征的風格改變和遷移，從而達到美化人臉圖像的目的。

發明內容

針對現有技術中出現的不足，本專利提出一種基于注意力生成對抗網絡人臉卡通畫生成方法。本發明的基于注意力生成對抗網絡人臉

卡通畫生成方法將人臉卡通漫畫生成分為兩個部分。第一部分為關鍵點邊緣檢測并裁剪出人臉區域。第二部分為通過一種基于注意力生成對抗網絡生成人臉卡通畫。實驗結果證明了本發明的方法相比于現有技術在視覺和定性評估上均具有優越性。

為實現上述目的，?本發明采用的技術方案：一種基于注意力生成對抗網絡人臉卡通畫生成方法，包括以下步驟:

步驟1，構建人臉數據集，下載selfie2anime數據集，從Anime?Planet?爬取人臉數據集，所有圖像大小均調整為256×256。