[發明專利]一種通過三維可形變模型學習的二維人臉表情識別方法

有效

• 申請號: 202011018179.5
• 申請日: 2020-09-24
• 公開（公告）號: CN112200024B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 時迎琰;鄒喬莎;史傳進
• 申請（專利權）人: 復旦大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/764;G06V10/766;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一種基于三維可形變模型學習的二維人臉表情識別方法，其特征在于，三維可形變模型學習技術，重建二維人臉表情對應的三維人臉表情點云，采用編碼器-解碼器的網絡結構，結合表情分類器和表情分類損失以及三維點云回歸損失，在端到端地聯合訓練下，最終獲得表情參數；其中：

所述二維人臉表情，是待表情分類的人臉圖像；

所述三維人臉表情點云，是三維空間中人臉點云除去平靜人臉點云后的部分，即對應于面部動作的點云；

所述表情參數，是對人臉表情的編碼，可以通過解碼器恢復相應的三維人臉表情點云；

所述編碼器，用于對輸入的二維人臉表情進行編碼，輸出表情參數；

所述解碼器，用于對輸入的表情參數進行解碼，輸出三維人臉表情點云；

所述表情分類器，采用SoftMax分類層，輸出每種表情的預測概率；

所述表情分類損失，采用交叉熵損失，通過表情分類器施加于表情參數上；

所述三維點云回歸損失，采用MSE均方誤差損失，施加于解碼器的輸出上。

2.根據權利要求1所述的基于三維可形變模型學習的二維人臉表情識別方法，其特征在于，方法采用端到端地聯合訓練；具體方式為：

首先是預訓練階段：分別用二維人臉圖片和相應的三維可形變模型的表情參數來訓練編碼器，用三維可形變模型的表情參數和相應的三維人臉表情點云來訓練解碼器；這樣，是編碼器和解碼器就具備初步的功能；

然后是聯合訓練階段：將預訓練后的編碼器和解碼器聯合訓練，即將編碼器輸出的表情參數輸入到解碼器中，端到端地產生人臉圖片對應的三維人臉表情點云；在聯合訓練過程中，通過表情分類器，對編碼器輸出的表情參數施加表情分類損失，使表情參數在其空間中的分布更加具有判別性，增大類間距離，從而提高表情分類的準確率；同時對解碼器輸出的三維人臉表情點云施加均方誤差損失，使最終獲得的表情參數仍然可以生成相應的三維人臉表情點云。

3. 根據權利要求2所述的基于三維可形變模型學習的二維人臉表情識別方法，其特征在于，所述三維可形變模型采用Basel Face Model和FaceWarehouse，于是表情參數就是29維的向量，三維點云有53215個頂點；所述編碼器采用SphereFace，在其頂端添加一層29維的全連接層用來輸出29維的表情參數；所述解碼器采用兩層的多層感知機，中間一層的維度是1000，輸出層的維度是159645。

4.根據權利要求2所述的基于三維可形變模型學習的二維人臉表情識別方法，其特征在于,在聯合訓練階段，將表情分類損失和三維點云回歸損失的兩種損失約束同時施加于編碼器-解碼器結構的神經網絡上；為了使表情參數的空間分布更加可分，在聯合訓練的初始階段，將三維點云回歸損失的權重調低，表情分類損失和三維點云回歸損失兩者的權重為1:0.5；當表情分類損失飽和時，為了保證生成的三維人臉表情更加自然真實，將三維點云回歸損失的權重調高，表情分類損失和三維點云回歸損失兩者的權重為1:5。