[發明專利]面部表情識別方法和裝置

有效

• 申請號: 201910360022.1
• 申請日: 2019-04-30
• 公開（公告）號: CN110097004B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 陳日偉
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06K9/62;G06V10/774
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種面部表情識別方法，包括：

通過將獲取到的目標對象的面部圖像輸入至預先訓練的預設數目個面部表情識別模型，來得到每一個面部表情識別模型輸出的所述目標對象的面部表情識別結果，所述預設數目個面部識別表情識別模型的訓練方法包括：采用預設數目個訓練樣本集中的訓練樣本，對待訓練的初始面部表情識別模型進行訓練，并得到訓練后的初始面部表情識別模型，針對所述預設數目個訓練樣本集中的每一個訓練樣本集，采用該訓練樣本集中的訓練樣本訓練訓練后的初始面部表情識別模型，并得到與該訓練樣本集對應的面部表情識別模型，其中，所述預設數目個訓練樣本集中的每一個訓練樣本集所包含的樣本面部圖像的標注信息，來源于不同信息標注方，所述預設數目個面部表情識別結果用于指示所述面部圖像所呈現的目標對象的面部表情信息；

對所得到的面部表情識別結果進行統計；以及

基于統計結果，確定與所述目標對象對應的面部表情信息。

2.根據權利要求1所述的方法，其中，所述預設數目個面部表情識別模型通過如下步驟訓練得到：

獲取預設數目個訓練樣本集，其中，所述預設數目個訓練樣本集中的訓練樣本包括樣本面部圖像和對樣本面部圖像進行標注的標注信息，所述標注信息用于指示與樣本面部圖像對應的面部表情信息；

通過將所述預設數目個訓練樣本集中的樣本面部圖像作為輸入、將與樣本面部圖像對應的標注信息作為期望輸出，來對待訓練的初始面部表情識別模型進行訓練，以生成訓練后的初始面部表情識別模型；

對于所述預設數目個訓練樣本集中的訓練樣本集，

通過將該訓練樣本集中的樣本面部圖像作為輸入、將與該樣本面部圖像對應的標注信息作為期望輸出，來對所述訓練后的初始面部表情識別模型進行調整；

基于調整結果，生成與該訓練樣本集對應的面部表情識別模型，以作為所述預設數目個面部表情識別模型中的一個。

3.根據權利要求2所述的方法，其中，通過將所述預設數目個訓練樣本集中的樣本面部圖像作為輸入、將與樣本面部圖像對應的標注信息作為期望輸出，來對待訓練的初始面部表情識別模型進行訓練，以生成訓練后的初始面部表情識別模型，包括：

執行以下訓練步驟：

將所述預設數目個訓練樣本集中的樣本面部圖像輸入至待訓練的初始面部表情識別模型的特征提取層，以得到圖像特征；

將所得到的圖像特征輸入至待訓練的初始面部表情識別模型的子網絡，以生成用于指示樣本面部圖像所呈現的面部表情為所標注的面部表情的概率值；

基于所得到的與樣本面部圖像對應的概率值，確定預設損失函數是否收斂；

響應于確定所述預設損失函數收斂，確定所述初始面部表情識別模型訓練完成。

4.根據權利要求3所述的方法，其中，所述方法還包括：

響應于確定所述預設損失函數未收斂，調整待訓練的初始面部表情識別模型的參數，利用反向傳播算法繼續執行所述訓練步驟。

5.根據權利要求2-4之一所述的方法，其中，所述預設數目個訓練樣本集中的每一個訓練樣本集所包括的樣本面部圖像的標注信息是基于不同的標注方式標注的。

6.一種面部表情識別裝置，包括：

輸入單元，被配置成通過將獲取到的目標對象的面部圖像輸入至預先訓練的預設數目個面部表情識別模型，來得到每一個面部表情識別模型輸出的所述目標對象的面部表情識別結果，所述預設數目個面部識別表情識別模型的訓練方法包括：采用預設數目個訓練樣本集中的訓練樣本，對待訓練的初始面部表情識別模型進行訓練，并得到訓練后的初始面部表情識別模型，針對所述預設數目個訓練樣本集中的每一個訓練樣本集，采用該訓練樣本集中的訓練樣本訓練訓練后的初始面部表情識別模型，并得到與該訓練樣本集對應的面部表情識別模型，其中，所述預設數目個訓練樣本集中的每一個訓練樣本集所包含的樣本面部圖像的標注信息，來源于不同信息標注方，所述預設數目個面部表情識別結果用于指示所述面部圖像所呈現的目標對象的面部表情信息；

第一確定單元，被配置成對所得到的面部表情識別結果進行統計；

第二確定單元，被配置成基于統計結果，確定與所述目標對象對應的面部表情信息。