[發明專利]一種通過三維可形變模型學習的二維人臉表情識別方法

有效

• 申請號: 202011018179.5
• 申請日: 2020-09-24
• 公開（公告）號: CN112200024B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 時迎琰;鄒喬莎;史傳進
• 申請（專利權）人: 復旦大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/764;G06V10/766;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發明屬于圖像處理技術領域，具體為一種基于三維可形變模型學習的二維人臉表情識別方法。本發明重建二維人臉表情對應的三維表情點云，采用編碼器?解碼器的網絡結構，結合表情分類器和表情分類損失以及三維點云回歸損失，在端到端的聯合訓練下，最終獲得的表情參數不但增強了判別性，提高了二維人臉表情分類的準確率，而且保持生成性，可以恢復相應的三維人臉表情點云。本發明可以同時實現二維人臉表情分類和三維人臉表情點云生成這兩種功能，具有廣泛的應用前景。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種通過三維可形變模型學習的二維人臉表情識別方法。

背景技術

人臉表情識別技術在情感人工智能中具有重要作用，廣泛應用于數字娛樂、駕駛員監測、兒童自閉癥診斷以及其他人機交互的系統中。因此，可靠的智能人臉表情識別技術受到了學術界和產業界越來越多的關注。

三維可形變模型是一種基于統計的參數化的人臉三維點云模型，其中的表情參數可以描述面部的不同動作。為了利用三維可形變模型的表情參數來進行二維人臉表情分類，ExpNet^[1]采用ResNet 101^[2]作為回歸器，直接回歸二維人臉圖片的表情參數，然后利用k最近鄰分類算法對得到的表情參數進行分類，得到最終的表情類別結果。

ExpNet將人臉表情特征的提取階段和分類階段分開，遠達不到端到端訓練的分類效果。因此，ExpNet仍存在可以優化的空間。

為了解決以上的問題，我們提供了一種通過三維可形變模型學習的二維人臉表情識別方法，本發明采用編碼器-解碼器的網絡結構，重建二維人臉表情對應的三維表情點云，結合表情分類器和表情分類損失以及三維點云回歸損失，在端到端地聯合訓練下，獲得的表情參數不但增強了判別性，提高了二維人臉表情分類的準確率，而且仍保持生成性，可以恢復相應的三維表情點云。本發明可以同時實現二維人臉表情分類和三維人臉表情點云生成這兩種功能，具有廣泛的應用前景。

參考文獻：

[1]Feng-Ju Chang, Anh Tuan Tran, Tal Hassner, Iacopo Masi, RamNevatia, and Gérard G. Medioni. 2018. ExpNet: Landmark-Free, Deep, 3D FacialExpressions. In 13th IEEE International Conference on Automatic Face Gesture Recognition, FG 2018, Xi’an, China, May 15-19, 2018. IEEE ComputerSociety, 122–129. https://doi.org/10.1109/FG.2018.00027

[2] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deepresidual learning for image recognition. In Proceedings of Conference onComputer Vision and Pattern Recognition, June 2016.