[發明專利]多任務面部動作識別模型訓練和多任務面部動作識別方法

有效

• 申請號: 201910969054.1
• 申請日: 2019-10-12
• 公開（公告）號: CN110889325B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 羅琳耀;徐國強;邱寒
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/82;G06V10/74;G06N3/0464
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 黃麗霞

1.一種多任務面部動作識別模型訓練方法，所述方法包括：

采集面部動作識別數據集；

將所述面部動作識別數據集中的面部動作圖像進行縮放處理，并構建得到圖像金字塔；

利用多任務卷積神經網絡對所述圖像金字塔進行特征提取和邊框標定，得到第一特征圖；

過濾所述第一特征圖中標定的邊框，獲得第二特征圖；

根據所述第二特征圖得到包含面部特征關鍵點坐標的面部動作圖像；

基于所述面部特征關鍵點坐標和預設的模板點坐標，將對應的所述面部動作圖像進行人臉對齊處理，得到關鍵點標簽圖像；獲取預設標準圖像的人臉關鍵點坐標；

利用dlib庫中的人臉檢測模型對所述關鍵點標簽圖像進行人臉檢測，得到所述關鍵點標簽圖像的人臉關鍵點坐標；

根據預設標準圖像的人臉關鍵點坐標和所述關鍵點標簽圖像的人臉關鍵點坐標進行角度計算，得到關鍵點標簽圖像中人臉的旋轉角度；

根據所述旋轉角度確定角度標簽，得到包括所述角度標簽的多任務標簽圖像；將所述多任務標簽圖像輸入預設的殘差神經網絡，以對所述殘差神經網絡進行多任務訓練，將訓練好的殘差神經網絡作為多任務面部動作識別模型。

2.根據權利要求1所述的方法，其特征在于，所述基于所述面部特征關鍵點坐標和預設的模板點坐標，將對應的所述面部動作圖像進行人臉對齊處理，得到關鍵點標簽圖像，包括：

獲取預設的模板點坐標；

計算所述面部特征關鍵點坐標和所述模板點坐標的相似變換矩陣；

將所述相似變換矩陣與對應的所述面部動作圖像的矩陣進行相乘，得到的圖像為關鍵點標簽圖像。

3.根據權利要求1所述的方法，其特征在于，所述將所述多任務標簽圖像輸入預設的殘差神經網絡，以對所述殘差神經網絡進行多任務訓練，將訓練好的殘差神經網絡作為多任務面部動作識別模型，包括：

初始化所述殘差神經網絡的網絡參數；

將所述多任務標簽圖像按批量輸入至所述殘差神經網絡做前向傳播，得到網絡輸出值；

基于預設損失函數和加權系數，以及所述網絡輸出值計算加權損失值；

根據所述加權損失值進行反向傳播，得到所述殘差神經網絡的網絡參數的梯度值；

根據所述梯度值更新所述殘差神經網絡的網絡參數；

返回將所述多任務標簽圖像按批量輸入至所述殘差神經網絡做前向傳播的步驟，直到所述加權損失值不再下降為止，將訓練好的殘差神經網絡作為多任務面部動作識別模型。

4.根據權利要求1所述的方法，其特征在于，所述采集面部動作識別數據集，包括：

獲取采集的統一資源定位符；

根據所述統一資源定位符爬取得到面部動作識別數據集。

5.一種多任務面部動作識別方法，所述方法包括：

獲取待識別面部動作圖像；

利用權利要求1-4任一項所述的多任務面部動作識別模型訓練方法所訓練的多任務面部動作識別模型，對所述待識別面部動作圖像進行識別，得到識別結果；所述識別結果包括動作標簽、關鍵點標簽和角度標簽。

6.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至5中任一項所述方法的步驟。

7.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至5中任一項所述的方法的步驟。