[發明專利]一種基于面部微表情的可控人臉生成方法

在審

• 申請號: 202210612348.0
• 申請日: 2022-05-31
• 公開（公告）號: CN114973375A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 伍家松;宋佳朋;薛一帆;孔佑勇;楊冠羽;楊淳沨;董志芳;舒華忠
• 申請（專利權）人: 東南大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/08;G06N3/04
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 杜靜靜

1.一種基于面部微表情的可控人臉生成方法，其特征在于：將面部微表情F∈R¹⁷轉化為潛在編碼V∈R^M，其中M為輸入到卷積特征編碼器得到的潛在維度，然后將人臉圖像S∈R^W×H與潛在編碼V輸入卷積圖像生成器生成指定圖像，即具體包括以下步驟：

(1)人臉圖像的預處理；

(2)構造面部微表情驅動的卷積神經網絡；

(3)基于面部微表情參數進行可控人臉生成；

其中，每一幅人臉圖像的大小均為W×H，W為實際圖像寬度，H為實際圖像高度。

2.根據權利要求1所述的基于面部微表情的可控人臉生成方法，其特征在于，步驟(1)所述的人臉圖像的預處理具體包括以下步驟：

(1-1)利用face-alignment框定并裁剪數據集中的人臉區域，同時剔除不包含完整人像面部與面部表情模糊的人臉圖像，

(1-2)利用OpenFace從步驟(1-1)中裁剪出的人臉區域中提取面部微表情特征F∈R¹⁷，并依照數據集存儲格式建立索引，F為基于面部表情編碼系統的向量值，取值范圍在0到1之間；

(1-3)將數據集的圖像根據實際需要按8:2分成訓練數據和測試數據兩部分，從數據集中隨機選取D₁幅人臉圖像作為訓練數據，剩下的(D-D₁)幅人臉圖像作為測試數據，其中D表示數據集中人臉圖像的總數目，且0D1D。

3.根據權利要求1所述的基于面部微表情的可控人臉生成方法，其特征在于，步驟(2)所述構造面部微表情驅動的卷積神經網絡具體包括以下步驟：

(2-1)將面部微表情F∈R¹⁷輸入到卷積特征編碼器，得到潛在向量V∈R^M，其中M為輸入到卷積神經網絡得到的潛在維度尺寸，這里的卷積特征編碼器包含一維卷積(Conv1d)和殘差連接(skip-connect)；

(2-2)將步驟(2-1)得到的潛在編碼V和人臉圖像S∈R^W×H輸入到卷積運動生成器，輸出特征矩陣Q∈R^W×H，其中W×H為人臉圖像與特征矩陣的尺寸，這里的卷積運動生成器包含堆疊沙漏網絡(stacked Hourglass Model)和自適應實例規范化(AdaIN)；

(2-3)將步驟(2-2)得到的特征矩陣Q∈R^W×H和人臉圖像S∈R^W×H輸入到卷積圖像生成器，得到輸出圖像這里的卷積圖像生成器包含生成式對抗網絡(GAN)。

4.根據權利要求1所述的基于面部微表情的可控人臉生成方法，其特征在于，步驟(3)中所述的基于面部微表情參數進行可控人臉生成的方法為：將人臉圖像及指定面部微表情輸入步驟(2)構造的卷積神經網絡中進行生成，并得到最終的生成結果。