[發明專利]一種基于面部微表情的可控人臉生成方法

在審

• 申請號: 202210612348.0
• 申請日: 2022-05-31
• 公開（公告）號: CN114973375A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 伍家松;宋佳朋;薛一帆;孔佑勇;楊冠羽;楊淳沨;董志芳;舒華忠
• 申請（專利權）人: 東南大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/08;G06N3/04
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 杜靜靜

本發明公開了一種基于面部微表情的可控人臉生成方法，包含以下步驟：(1)人臉圖像的預處理；(2)構造面部微表情驅動的卷積神經網絡；(3)基于面部微表情參數進行可控人臉生成。本發明通過構造卷積神經網絡，能夠利用面部微表情提取人物臉部的內在運動細節，使得構造的網絡可以人為控制生成結果，同時保持了優異的圖像質量。

技術領域

本發明涉及一種基于面部微表情的可控人臉生成技術，屬于數字圖像處理、深度學習技術領域。

背景技術

對于人臉圖像生成技術通常有以下兩種方法：1.基于真實圖像的生成神經網絡；2.基于參數控制的生成網絡，但這兩種方法都存在一定的缺陷。

1、基于真實圖像的生成神經網絡

基于真實圖像的生成神經網絡是從輸入圖像中提取人物的面部運動，并在生成圖像中重建運動。一方面，研究人員收集了VoxCeleb、GRID等大規模多模態數據集用來支撐該任務的研究；另一方面，研究人員對多種新的人臉生成方法進行了深入研究。這類研究可以分為以下兩個方面：

(1)基于關鍵點的方法，基于關鍵點的方法與傳統方法相比最重要的是引入了像素坐標信息。在圖像處理中，關鍵點提供了圖像形狀和邊緣和的細節性描述，比較適合于圖像生成任務。研究人員對基于關鍵點的方法進行了較深入的研究，在生成準確的運動的同時保留人物身份不變。比如Siarohin等人提出的基于無監督關鍵點的FOMM方法利用將運動表示為關鍵點局部區域的仿射變換，使用空間變換的方法來重建目標運動。

(2)基于潛在向量的方法，基于潛在向量的方法將輸入信息轉化為潛在向量，利用潛在編碼來表示人物特征。與基于關鍵點的方法不同的是，基于潛在編碼的方法不對圖像進行空間變換，而是將潛在向量輸入到卷積神經網絡中得到結果。最近的研究人員對基于潛在向量的方法不斷提出改進，同樣得到了逼真的結果。比如Ren等人提出的基于單維潛在向量的PIRenderer方法使用自適應實例規范化(AdaIN)向卷積神經網絡注入蘊含目標信息的潛在編碼，最后用對抗式生成網絡(GAN)訓練學習整個網絡。

盡管基于真實圖像的生成神經網絡取得了比較好的生成結果，但是這類方法只能夠處理、復現真實圖像中存在的表情，沒有考慮參數的可控性與可解釋性，使得這類方法的生成結果無法人為控制生成細節。

2、基于參數控制的生成神經網絡

基于參數控制的生成神經網絡是指對靜態人像圖片進行人為操控和屬性編輯，例如改變人物的面部表情等。研究人員對多種新的面部編輯方法進行了深入研究。這類研究可以分為以下兩個方面：

(1)基于宏觀面部表情的方法，基于宏觀面部表情的方法基于離散的情緒類別，如高興、驚奇、恐懼、悲傷、厭惡和憤怒等。在面部屬性編輯中，宏觀面部表情提供了面部運動的整體性描述，影響著生成結果的可解釋性。但此類方法無法生成平滑的面部表情過渡，使得對人臉圖像的生成結果沒有達到理想的效果。

(2)基于面部微表情的方法，基于面部微表情的方法大都是基于Ekman和Friesen提出的面部表情編碼系統。該系統將面部微表情定義為面部肌肉協調運動的組合結果，用運動單元(Action Unit,AU)來描述面部表情。這些運動單元是基于生物學和解剖學上特定面部肌肉的收縮制定的。最近研究人員也對基于面部微表情的方法展開研究。比如：Pumarola等人提出的基于CycleGan的Ganimation方法利用面部表情編碼系統操控人物表情，通過將生成圖像再次輸入到編碼器中訓練來盡可能保持人物身份準確。該方法相比于基于宏觀面部表情的方法，具備更多的可解釋參數，可以人為控制生成細節。

盡管基于參數控制的生成神經網絡取得了一定的生成結果，但是同其他人臉生成方法，例如基于真實圖像驅動的生成神經網絡相比，現有方法仍無法生成足夠清晰的結果。而本發明正好可以解決這種問題。

發明內容