[發(fā)明專利]一種基于人臉關鍵點的面部表情捕捉方法

在審

• 申請?zhí)枺?/td>: 202210102416.9
• 申請日: 2022-01-27
• 公開（公告）號: CN114463815A
• 公開（公告）日: 2022-05-10
• 發(fā)明（設計）人: 楊帆;郝強;潘鑫淼;胡建國
• 申請（專利權）人: 南京甄視智能科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06T17/00
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 王金雙

1.一種基于人臉關鍵點的面部表情捕捉方法，其特征在于，包括以下步驟：

1）使用面部表情綁定算法，為選定的3DMM模型綁定表情；

2）生成隨機3D人臉，并對記錄的人臉關鍵點進行歸一化處理，得到歸一化關鍵點集，將表情系數和對應的歸一化關鍵點集組成訓練數據集；

3）搭建多層感知機模型，并使用梯度下降法進行迭代優(yōu)化得到表情識別模型；

4）對待識別的人臉圖像進行關鍵點檢測，篩選出關鍵點并進行歸一化處理，得到歸一化后的關鍵點；

5）將歸一化后的人臉關鍵點輸入表情識別模型，預測出此時人臉表情的變化程度。

2.根據權利要求1所述的基于人臉關鍵點的面部表情捕捉方法，其特征在于，所述步驟1）還包括，選取3DMM模型，使用面部表情綁定算法，為3DMM模型綁定所需的表情，每個表情采用0到1的值，表示該表情的變化程度。

3.根據權利要求1所述的基于人臉關鍵點的面部表情捕捉方法，其特征在于，所述3DMM模型，包括，BFM模型、LSFM模型。

4.根據權利要求1所述的基于人臉關鍵點的面部表情捕捉方法，其特征在于，所述步驟2）還包括，

隨機調整身份系數、表情系數、旋轉角，生成隨機3D人臉，則隨機的多組表情系數分別對應多個3D人臉；

將多個3D人臉投影到二維平面，記錄二維平面人臉的關鍵點坐標，再對所有關鍵點進行歸一化處理，得到歸一化關鍵點集；

將多組表情系數和對應的歸一化關鍵點集組成訓練數據集。

5.根據權利要求1所述的基于人臉關鍵點的面部表情捕捉方法，其特征在于，所述步驟3）還包括，

搭建多層感知機模型，模型輸入為關鍵點的橫縱坐標，輸出為預測的表情；

采用L1損失函數計算一個批次訓練數據的預測表情與真實表情的損失，使用梯度下降法對搭建的多層感知機模型進行迭代優(yōu)化得到表情識別模型。

6.根據權利要求5所述的基于人臉關鍵點的面部表情捕捉方法，其特征在于，所述步驟4）還包括，

使用人臉關鍵點檢測工具對待識別的人臉圖像進行關鍵點檢測，篩選出與訓練數據對應的關鍵點；對篩選出的關鍵點坐標進行歸一化處理，得到歸一化后的關鍵點。

7.根據權利要求6所述的基于人臉關鍵點的面部表情捕捉方法，其特征在于，所述步驟4）還包括，

將歸一化后的人臉關鍵點輸入到所述表情識別模型，預測出此時人臉表情的變化程度。

8.根據權利要求1所述的基于人臉關鍵點的面部表情捕捉方法，其特征在于，所述表情，包括，抬眉毛、皺眉、閉眼、張嘴。

9.一種終端設備，其特征在于，包括處理器、存儲器以及存儲在所述存儲器中且被配置為由所述處理器執(zhí)行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現如權利要求1至8中任意一項所述的基于人臉關鍵點的面部表情捕捉方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質包括存儲的計算機程序，其中在所述計算機程序運行時控制所述計算機可讀存儲介質所在設備執(zhí)行如權利要求1至8中任意一項所述的基于人臉關鍵點的面部表情捕捉方法的步驟。