[發明專利]基于雙生成對抗網絡的兩階段表情動畫生成方法

有效

• 申請號: 202010621885.2
• 申請日: 2020-07-01
• 公開（公告）號: CN111783658B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 郭迎春;王靜潔;劉依;朱葉;郝小可;于洋;師碩;閻剛
• 申請（專利權）人: 河北工業大學
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06V40/16;G06V10/82;G06N3/045;G06N3/0475;G06N3/094
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰

本發明為基于雙生成對抗網絡的兩階段表情動畫生成方法，該方法首先在第一階段中利用表情遷移網絡FaceGAN提取目標表情輪廓圖中的表情特征，并將其遷移到源人臉，生成第一階段預測圖；第二階段中利用細節生成網絡FineGAN來作為補充豐富第一階段預測圖中的對表情變化貢獻比較大的眼睛和嘴巴區域的細節，生成細粒度的第二階段預測圖并合成人臉視頻動畫，表情遷移網絡FaceGAN及細節生成網絡FineGAN均采用生成對抗網絡實現。本申請提出兩階段生成對抗網絡進行表情動畫生成，第一階段進行表情的轉換，第二階段進行圖像細節的優化，通過掩模向量提取圖像的指定區域，進行著重優化，同時結合局部判別器的使用，使重要部位生成效果更佳。

技術領域

本發明的技術方案涉及計算機視覺中圖像數據處理，具體地說是基于雙生成對抗網絡的兩階段表情動畫生成方法。

背景技術

人臉表情合成是指將表情從目標表情參考人臉遷移到源人臉，新合成的源人臉圖像的身份信息保持不變，但是其表情與目標表情參考人臉保持一致，這項技術已逐漸應用在影視制作、虛擬現實、刑偵等領域。人臉表情合成在學術界和工業界均有著重要的研究價值，如何魯棒地合成自然逼真的人臉表情成為一個富有挑戰性的熱點研究課題。

現有的人臉表情合成方法可以分為兩大類，分別是傳統的圖形學方法和基于深度學習的圖像生成方法。第一類傳統的圖形學方法通常使用參數模型，將源人臉圖像參數化，設計模型進行表情的轉換并生成新圖像，或利用特征對應和光流圖來扭曲人臉圖像，從已有的表情數據集合成人臉補丁等，但是設計模型的過程詳細且復雜，會產生很高代價的計算量，且泛化能力差。

第二類基于深度學習的表情合成方法。首先利用深度神經網絡提取人臉特征，將圖像從高維空間映射到特征向量，然后通過添加表情標簽改變源表情特征，再利用深度神經網絡合成目標人臉圖像，映射回高維空間。而后GAN網絡的出現為實現清晰的圖像合成帶來了曙光，一經提出便引發了極大的關注。在圖像合成領域，涌現大量的GAN變體等研究方法來進行圖像的生成。例如條件生成對抗網絡(Conditional?Generative?AdversarialNetwork，CGAN)可以在特定監督信息下生成圖像，在人臉表情生成領域，可以將表情標簽作為條件監督信息，以此生成不同表情的人臉圖像。現階段，基于GAN網絡的相關方法同樣存在一些不足，在生成表情動畫時，可能會出現不合理偽影、生成圖像模糊、分辨率低等問題。

人臉表情生成是圖像-圖像的轉換，本發明的目的是生成人臉動畫，屬于圖像-視頻的轉換，比人臉表情生成任務增加了時間維度上的挑戰。Xing等人在“GP-GAN:GenderPreserving?GAN?for?Synthesizing?Faces?from?Landmarks”一文中使用性別保留網絡使網絡可以學習到更多的性別信息，但該方法在人臉身份信息的保留方面仍存在不足，可能導致生成人臉與目標人臉具有不同的身份特征。CN108288072A公開了一種基于生成對抗網絡的面部表情合成方法，該方法沒有考慮人臉圖像的細粒度生成，忽略了對源人臉圖像的細節特征提取，存在生成結果較模糊、分辨率低的缺陷。CN110084121A公開了基于譜歸一化的循環生成式對抗網絡的人臉表情遷移的實現方法，該方法采用表情獨熱向量監督網絡的訓練過程，獨熱向量的離散性限制了網絡的學習能力，使網絡僅能學習到目標情緒的表達，如高興、悲傷、驚訝等，并不能學習到情緒的程度，對表情的連續性生成方面有欠缺。CN105069830A公開了一種表情動畫生成方法及裝置，該方法僅可生成六個指定模板的表情動畫，而人類的表情十分豐富且復雜，因此該方法的擴展性較差，不能根據用戶需求生成任意指定的表情動畫。CN107944358A公開了一種基于深度卷積對抗網絡模型的人臉生成方法，該方法在表情生成過程中不能保證人臉身份信息的不變性，可能存在生成人臉與目標人臉不一致的缺陷。

發明內容