[發明專利]人臉對齊和姿態評估方法及系統、存儲介質、電子設備

在審

• 申請號: 202211729227.0
• 申請日: 2022-12-30
• 公開（公告）號: CN116343286A
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 林家平;石錫敏
• 申請（專利權）人: 廣州敏視數碼科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80;G06V10/82
• 代理公司: 廣州哲力智享知識產權代理有限公司 44494
• 代理人: 余全平

本發明公開一種人臉對齊和姿態評估方法及系統、存儲介質、電子設備，包括：步驟1，基于人臉特征點數據集，訓練模型人臉對齊支路，獲取人臉帶口罩不變特征；步驟2，凍結人臉對齊支路，基于頭部姿態數據集，訓練頭部姿態評估支路，并獲取人臉特征點數據集的頭部姿態；步驟3，基于臉特征點數據集的頭部姿態，采用基于課程學習的數據挖掘方法，重新訓練人臉對齊支路；步驟4，再次凍結人臉對齊支路，并加入特征融合支路，采用基于課程學習的數據挖掘方法，重新訓練頭部姿態評估支路。本發明可以克服人臉特征點和頭部姿態在傳統方法中高耦合性，提高帶口罩情況下頭部姿態評估精度，提高人臉對齊和頭部姿態評估在大角度姿態下的精度。

技術領域

本發明涉及計算機視覺技術領域，尤指一種人臉對齊和姿態評估方法及系統、存儲介質、電子設備。

背景技術

人臉對齊又稱人臉特征點檢測，目標是預測人臉圖像中一系列事先定義的點坐標，例如臉輪廓點、眉角、嘴角等；人臉對齊廣泛應用于計算機視覺和機器視覺，其中包括人臉識別、表情識別，人臉矯正以及三維人臉建模等任務；頭部姿態評估就是根據人臉圖像，評估人臉頭部的姿態，其中包括水平角、俯仰角以及旋轉角，姿態評估廣泛應用在人機交互場景、駕駛員監控場景。

由于人臉對齊功能和姿態評估都是基于人臉圖像進行計算得到，所以兩者息息相關，即頭部姿態發生變化，人臉特征點位置也會隨之變化；所以兩者的傳統方法有兩種，一種是先通過模型計算得到人臉特征點，然后根據特征點和三維人臉模型計算得到頭部姿態(如專利資料：CN114882574A)，另一種是通過多任務學習，將兩者同時放在同一個模型進行學習，也就是模型的輸出是兩者結果(如專利資料：CN14360041A、CN115205926A)；這兩種傳統的方法使得人臉特征點和頭部姿態耦合程度高，當人臉表情發生變化，人臉特征點會發生變化，頭部姿態也會隨之變化，但實際頭部姿態并沒有發生變化。

現公開的頭部姿態數據集缺乏帶口罩的情況，而且帶口罩樣品人工是難于標記其頭部姿態，導致模型對帶口罩情況下頭部姿態評估不穩定；另外先公開的人臉數據集往往存在數據拖尾現象，也就是大角度姿態樣品較少而小角度姿態較多，導致人臉對齊和頭部姿態評估在大角度姿態情況下模型評估精度下滑。

發明內容

為解決上述問題，本發明的主要目的在于提供一種人臉對齊和姿態評估方法，其可以克服人臉特征點和頭部姿態在傳統方法中高耦合性，提高帶口罩情況下頭部姿態評估精度，提高人臉對齊和頭部姿態評估在大角度姿態下的精度。

為實現上述目的，本發明采用的技術方案是：

一種人臉對齊和姿態評估方法，包括以下步驟：

步驟1，基于人臉特征點數據集，訓練模型人臉對齊支路，獲取人臉帶口罩不變特征；

步驟2，凍結人臉對齊支路，基于頭部姿態數據集，訓練頭部姿態評估支路，并獲取人臉特征點數據集的頭部姿態；

步驟3，基于臉特征點數據集的頭部姿態，采用基于課程學習的數據挖掘方法，重新訓練人臉對齊支路；

步驟4，再次凍結人臉對齊支路，并加入特征融合支路，采用基于課程學習的數據挖掘方法，重新訓練頭部姿態評估支路。

進一步，步驟1具體包括以下步驟：

基于人臉特征點數據集以及特征點標記，對人臉圖片進行數據增強操作，再訓練人臉對齊支路；

通過所述人臉對齊支路輸出第一臉特征點熱力圖和第二臉特征點熱力圖，根據所述第一臉特征點熱力圖、第二臉特征點熱力圖和數據集真實人臉特征點熱力圖進行計算評價函數。

進一步，所述數據增強操作包括裁剪、旋轉、縮放和色彩變化。

進一步，所述人臉對齊支路由卷積模塊、MobileNetV2模塊以及MobileNetV2漏斗模塊組成。