[發明專利]多任務面部動作識別模型訓練和多任務面部動作識別方法

有效

• 申請號: 201910969054.1
• 申請日: 2019-10-12
• 公開（公告）號: CN110889325B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 羅琳耀;徐國強;邱寒
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/82;G06V10/74;G06N3/0464
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 黃麗霞

本申請涉及一種基于神經網絡的多任務面部動作識別模型訓練方法、多任務面部動作識別方法、計算機設備和存儲介質。所述方法包括：采集面部動作識別數據集；對面部動作識別數據集中的面部動作圖像進行人臉檢測和人臉對齊，得到關鍵點標簽圖像；根據預設標準圖像檢測關鍵點標簽圖像中人臉的角度，得到包括角度標簽的多任務標簽圖像；將多任務標簽圖像輸入預設的殘差神經網絡，以對殘差神經網絡進行多任務訓練，將訓練好的殘差神經網絡作為多任務的面部動作識別模型。采用本方法能夠提高面部動作識別的多樣性。

技術領域

本申請涉及計算機技術領域，特別是涉及一種多任務面部動作識別模型訓練方法、多任務面部動作識別方法、計算機設備和存儲介質。

背景技術

人臉識別又稱為面部識別，面部動作識別則是指能夠識別人臉面部具體動作表情，面部動作識別與人臉五官的形狀、位置和幾何關系等均有關系。

傳統開源的識別方法是使用面部動作識別模型進行分類優化目標。然而，傳統的面部動作識別模型并未考慮其可能還存在其他相關目標任務，只能進行單一的檢測，缺乏多樣性。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠實現多任務檢測的多任務面部動作識別模型訓練方法、多任務面部動作識別方法、計算機設備和存儲介質。

一種多任務面部動作識別模型訓練方法，所述方法包括：

采集面部動作識別數據集；

對所述面部動作識別數據集中的面部動作圖像進行人臉檢測和人臉對齊，得到關鍵點標簽圖像；

根據預設標準圖像檢測所述關鍵點標簽圖像中人臉的角度，得到包括角度標簽的多任務標簽圖像；

將所述多任務標簽圖像輸入預設的殘差神經網絡，以對所述殘差神經網絡進行多任務訓練，將訓練好的殘差神經網絡作為多任務面部動作識別模型。

在其中一個實施例中，所述對所述面部動作識別數據集中的面部動作圖像進行人臉檢測和人臉對齊，得到關鍵點標簽圖像，包括：

將所述面部動作識別數據集中的面部動作圖像進行縮放處理，并構建得到圖像金字塔；

利用多任務卷積神經網絡對所述圖像金字塔進行人臉檢測，得到包含面部特征關鍵點坐標的面部動作圖像；

基于所述面部特征關鍵點坐標和預設的模板點坐標，將對應的所述面部動作圖像進行人臉對齊處理，得到關鍵點標簽圖像。

在其中一個實施例中，所述利用多任務卷積神經網絡對所述圖像金字塔進行人臉檢測，得到包含面部特征關鍵點坐標的面部動作圖像，包括：

利用多任務卷積神經網絡對所述圖像金字塔進行特征提取和邊框標定，得到第一特征圖；

過濾所述第一特征圖中標定的邊框，獲得第二特征圖；

根據所述第二特征圖得到包含面部特征關鍵點坐標的面部動作圖像。

在其中一個實施例中，所述基于所述面部特征關鍵點坐標和預設的模板點坐標，將對應的所述面部動作圖像進行人臉對齊處理，得到關鍵點標簽圖像，包括：

獲取預設的模板點坐標；

計算所述面部特征關鍵點坐標和所述模板點坐標的相似變換矩陣；

將所述相似變換矩陣與對應的所述面部動作圖像的矩陣進行相乘，得到的圖像為關鍵點標簽圖像。

在其中一個實施例中，所述根據預設標準圖像檢測所述關鍵點標簽圖像中人臉的角度，得到包括角度標簽的多任務標簽圖像，包括：

獲取預設標準圖像的人臉關鍵點坐標；