[發明專利]一種人臉對齊方法、訓練方法、裝置和存儲介質

在審

• 申請號: 202111350466.0
• 申請日: 2021-11-15
• 公開（公告）號: CN114220138A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 張紅良
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

1.一種人臉對齊方法，其特征在于，包括：

獲取人臉圖像，所述人臉圖像包括待檢測人臉；

基于訓練后的人臉對齊網絡，對所述人臉圖像進行處理，得到所述待檢測人臉的對齊結果；

其中，訓練后的所述人臉對齊網絡是通過如下方式獲得的：

利用訓練中的所述人臉對齊網絡，對樣本圖像包含的人臉的關鍵點進行檢測得到樣本對齊結果，并對所述人臉的角度進行預測得到角度預測結果；

基于所述角度預測結果，確定第一損失對應的懲罰權重，所述第一損失是所述人臉對齊網絡的損失函數中對應所述樣本對齊結果的損失；

基于所述懲罰權重、所述第一損失以及第二損失，調整所述人臉對齊網絡的模型參數，直至所述人臉對齊網絡滿足預設訓練結束條件，得到訓練后的所述人臉對齊網絡，所述第二損失是所述損失函數中對應所述角度預測結果的損失。

2.根據權利要求1所述的人臉對齊方法，其特征在于，所述人臉對齊網絡包括主網絡與輔助網絡，所述對樣本圖像包含的人臉的關鍵點進行檢測得到樣本對齊結果的步驟，包括：

利用所述主網絡對所述樣本圖像包含的人臉的關鍵點進行檢測，基于檢測出的所述樣本圖像中人臉的關鍵點，得到所述樣本對齊結果；

所述對所述人臉的角度進行預測得到角度預測結果的步驟，包括：

采用所述輔助網絡對所述主網絡輸出的所述樣本對齊結果進行處理，得到所述角度預測結果。

3.根據權利要求2所述的人臉對齊方法，其特征在于，所述基于所述懲罰權重、所述第一損失以及第二損失，調整所述人臉對齊網絡的模型參數，直至所述人臉對齊網絡滿足預設訓練結束條件，得到訓練后的所述人臉對齊網絡的步驟，包括：

計算樣本關鍵點與標簽關鍵點之間的損失，得到第一損失；

計算所述角度預測結果與姿態角標簽之間的損失，得到第二損失；

基于所述第一損失與所述第二損失，計算出當前訓練損失；

基于所述當前訓練損失，判斷所述人臉對齊網絡是否滿足預設訓練結束條件；

若否，則調整所述人臉對齊網絡的模型參數，并繼續利用所述樣本圖像對所述人臉對齊網絡進行訓練，直至所述人臉對齊網絡滿足所述預設訓練結束條件。

4.根據權利要求3所述的人臉對齊方法，其特征在于，所述主網絡包括特征圖提取層與DSNT層，所述采用所述主網絡對所述樣本圖像進行關鍵點檢測處理，得到所述樣本對齊結果的步驟，包括：

采用所述特征圖提取層對所述樣本圖像進行特征提取處理，得到訓練特征圖，所述訓練特征圖為所述樣本圖像中人臉的關鍵點的特征圖；

采用所述DSNT層對所述訓練特征圖進行轉換處理，得到所述樣本對齊結果。

5.根據權利要求4所述的人臉對齊方法，其特征在于，所述特征圖提取層還用于輸出第一特征信息，所述方法還包括：

采用所述輔助網絡基于所述第一特征信息對所述人臉的表情進行預測，得到表情預測結果；

計算所述表情預測結果與表情標簽之間的誤差，得到第三損失；

對所述第一損失、所述第二損失、所述第三損失以及第四損失進行加權求和，得到所述當前訓練損失，所述第四損失為所述訓練特征圖的正則化損失；

基于所述角度預測結果與預設映射表，確定所述第一損失的懲罰權重。

6.根據權利要求5所述的人臉對齊方法，其特征在于，所述基于所述角度預測結果與預設映射表，確定所述第一損失的懲罰權重的步驟，包括：

將姿態角范圍劃分為多個子范圍；

對所有所述樣本圖像的姿態角進行統計，得到每個所述子范圍對應的樣本圖像的數量；

基于所述子范圍對應的樣本圖像的數量，設置所述子范圍對應的懲罰權重，以構建所述預設映射表；所述預設映射表包括所述子范圍以及與所述子范圍對應的懲罰權重，所述子范圍對應的樣本圖像的數量越多，所述子范圍對應的懲罰權重越小；

將所述角度預測結果與所述預設映射表進行匹配，得到所述第一損失的懲罰權重。