[發明專利]一種基于身份和表情特征轉換的人臉表情轉換方法

在審

• 申請號: 201910169772.0
• 申請日: 2019-03-06
• 公開（公告）號: CN109934767A
• 公開（公告）日: 2019-06-25
• 發明（設計）人: 陳明義;李長春;李柯
• 申請（專利權）人: 中南大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于身份和表情特征轉換的人臉表情轉換方法，其特征在于，所述方法是利用具有兩個編碼器的生成對抗網絡得到中性表情和其它表情圖像的轉換模型，在人臉身份內容保持不變的情況下，實現中性表情到其它表感之間的表情轉換，轉換方法的好壞直接反映在用戶對轉換后表情的視覺感受。

2.根據權利要求1所述的方法，其特征在于，包括：

S1:人臉表情轉換模型訓練階段：對中性表情圖片和其它人臉表情圖片進行預處理，然后提取中性表情的身份特征參數和目標面部表情特征參數，建立生成器和判別器，進行對抗訓練。

S2：人臉表情轉換模型轉換階段，將預處理后的中性表情圖像輸入到轉換模型中，并將模型輸出參數用到表情合成中，來合成目標表情圖像。

3.根據權利要求2所述的方法，其特征在于，所述步驟S1中，所述的預處理是指對人臉圖像進行人臉檢測與定位。

4.根據權利要求2所述的方法，其特征在于，所述步驟S1中，所述的身份特征參數和面部表情特征參數提取中，是使用編碼器對中性表情圖片以及目標表情圖片進行特征提取，身份信息映射到潛在向量z，情感信息映射到潛在向量l進一步包括：

S11:對原始中性表情圖像x(n)進行人臉檢測與定位，得到第i張人臉中性表情圖像x_i(n)，對圖像x_i(n)使用編碼器E₁進行特征提取，其中編碼器E₁使用卷積神經網絡來提取輸入圖像的身份特征，編碼器E₁的輸出是原始中性表情圖像的高級身份特征潛在向量z。

S12:對目標情感表情圖像y(n)進行人臉檢測與定位，得到第j張人臉中性表情圖像x_j(n)，對圖像x_j(n)使用編碼器E₂進行特征提取，其中編碼器E₂使用卷積神經網絡來提取輸入圖像的情感特征，編碼器E₂的輸出是目標域圖像情感特征標簽l。

5.根據權利要求2所述的方法，其特征在于，所述步驟S1中，所述的生成器是通過使用去卷積層從特征向量恢復低級特征。生成器G₁將身份特征潛在向量z和目標標簽向量l作為輸入，并生成具有特定個性的面部x_ij。

6.根據權利要求2所述的方法，其特征在于，所述步驟S1中，所述的判別器是一種卷積神經網絡，對生成器生成的圖像x_ij進行特征提取和判別。在判別器中，目標標簽向量l在第一卷積層中連接，并確定生成的圖像是原始圖像還是生成的圖像，進一步包括：

S13：通過另一個生成器G₂重建生成的圖像以更好地增強目標域和原始域的關聯。重建損失函數用于描述兩個發生器之后的重建效果與原始實際樣本之間的差異。

7.根據權利要求6所述的方法，其特征在于，所述步驟S13中，所述建立重建損失中，對生成的帶有目標表情的圖像x_ij進行編碼和生成重建為原始中性表情圖像建立原始中性表情圖像x_i(n)和重建后的中性表情圖像的損失函數，用于將未配對的原始表情符號與數據庫中的目標表情符號相關聯并共享身份特征。

8.根據權利要求2所述的方法，其特征在于，所述步驟S2中，進一步包括：

S21：獲得預處理后的中性表情圖像；

S22：將預處理后的中性表情圖片輸入到轉換模型中，得到轉換后的目標表情圖像。