[發明專利]一種基于人臉關鍵點的面部表情捕捉方法

在審

• 申請號: 202210102416.9
• 申請日: 2022-01-27
• 公開（公告）號: CN114463815A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 楊帆;郝強;潘鑫淼;胡建國
• 申請（專利權）人: 南京甄視智能科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06T17/00
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 王金雙

本發明公開了一種基于人臉關鍵點的面部表情捕捉方法，包括以下步驟：1）使用面部表情綁定算法，為選定的3DMM模型綁定表情；2）生成隨機3D人臉，并對記錄的人臉關鍵點進行歸一化處理，得到歸一化關鍵點集，將表情系數和對應的歸一化關鍵點集組成訓練數據集；3）搭建多層感知機模型，并使用梯度下降法進行迭代優化得到表情識別模型；4）對待識別的人臉圖像進行關鍵點檢測，篩選出關鍵點并進行歸一化處理，得到歸一化后的關鍵點；5）將歸一化后的人臉關鍵點輸入表情識別模型，預測出此時人臉表情的變化程度。本發明的方法，只需可見光攝像頭結合機器學習模型，即可實現對人臉面部細微表情的分析，成本低、實時性好，有利于大規模應用。

技術領域

本發明涉及人臉面部表情捕捉技術領域，尤其涉及一種基于人臉關鍵點的面部表情捕捉方法。

背景技術

現有的人臉面部表情捕捉方法需要在人臉處放置傳感器或使用結構光攝像頭，設備價格高昂，還會由于穿戴不適影響面部運動。而基于計算機視覺的方法，由于數據采集較為困難，只能做到對開心、悲傷等少數宏觀表情的識別，難以實現對于皺眉、抬嘴角等細微的表情的識別，故需要一種基于人臉關鍵點的面部表情捕捉方法，只需要可見光攝像頭結合機器學習模型，即可實時分析人臉面部細微的表情。

發明內容

本發明提供了一種基于人臉關鍵點的面部表情捕捉方法，以解決上述背景技術中提出的問題。

為了實現上述目的，本發明實施例提供了一種基于人臉關鍵點的面部表情捕捉方法，其特征在于，包括以下步驟：

1)使用面部表情綁定算法，為選定的3DMM模型綁定表情；

2)生成隨機3D人臉，并對記錄的人臉關鍵點進行歸一化處理，得到歸一化關鍵點集，將表情系數和對應的歸一化關鍵點集組成訓練數據集；

3)搭建多層感知機模型，并使用梯度下降法進行迭代優化得到表情識別模型；

4)對待識別的人臉圖像進行關鍵點檢測，篩選出關鍵點并進行歸一化處理，得到歸一化后的關鍵點；

5)將歸一化后的人臉關鍵點輸入表情識別模型，預測出此時人臉表情的變化程度。

進一步地，所述步驟1)還包括，選取3DMM模型，使用面部表情綁定算法，為3DMM模型綁定所需的表情，每個表情采用0到1的值，表示該表情的變化程度。

進一步地，所述3DMM模型，包括，BFM模型、LSFM模型。

進一步地，所述步驟2)還包括，

隨機調整身份系數、表情系數、旋轉角，生成隨機3D人臉，則隨機的多組表情系數分別對應多個3D人臉；

將多個3D人臉投影到二維平面，記錄二維平面人臉的關鍵點坐標，再對所有關鍵點進行歸一化處理，得到歸一化關鍵點集；

將多組表情系數和對應的歸一化關鍵點集組成訓練數據集。

進一步地，所述步驟3)還包括，

搭建多層感知機模型，模型輸入為關鍵點的橫縱坐標，輸出為預測的表情；

采用L1損失函數計算一個批次訓練數據的預測表情與真實表情的損失，使用梯度下降法對搭建的多層感知機模型進行迭代優化得到表情識別模型。

進一步地，所述步驟4)還包括，

使用人臉關鍵點檢測工具對待識別的人臉圖像進行關鍵點檢測，篩選出與訓練數據對應的關鍵點；對篩選出的關鍵點坐標進行歸一化處理，得到歸一化后的關鍵點。

進一步地，所述步驟4)還包括，

將歸一化后的人臉關鍵點輸入到所述表情識別模型，預測出此時人臉表情的變化程度。