[發明專利]訓練多尺度網絡模型的方法及人臉關鍵點檢測方法

有效

• 申請號: 202211228821.1
• 申請日: 2022-10-09
• 公開（公告）號: CN115376195B
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 林旭新;梁延研;魏紅強;鄭皓文
• 申請（專利權）人: 珠海大橫琴科技發展有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06N3/04;G06N3/08;G06V10/52;G06V10/82
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 孟麗平

1.一種訓練多尺度網絡模型的方法，其特征在于，所述方法包括：

將第一樣本圖像輸入多尺度神經網絡模型，獲得第一人臉關鍵點預測圖像，所述多尺度神經網絡模型包括特征提取模塊、組合模塊和預測模塊，所述特征提取模塊用于提取多尺度特征圖，所述多尺度包括多通道和/或多分辨率，所述組合模塊用于基于權重參數加權組合所述多尺度特征圖中的至少兩個以獲取新特征圖，所述預測模塊用于對所述新特征圖進行人臉關鍵點預測，以獲取所述第一人臉關鍵點預測圖像；

利用損失函數計算所述第一人臉關鍵點預測圖像和所述第一樣本圖像的真實關鍵點圖像之間的損失，對所述多尺度神經網絡模型進行迭代訓練，直至收斂，得到多尺度網絡模型；

其中，所述損失函數包括第一損失和第二損失，所述第一損失為所述第一人臉關鍵點預測圖像和所述第一樣本圖像的真實關鍵點圖像之間的誤差，所述第二損失為與各所述權重參數絕對值之和的乘積，為正則化的權重；

將所述多尺度網絡模型的各所述權重參數中小于第一剪枝閾值的權重參數置為0，以獲得第一輕量級網絡模型；

獲取所述第一輕量級網絡模型的第二對偶網絡模型；

將所述多尺度網絡模型作為第二教師模型，且將第四樣本圖像輸入所述多尺度網絡模型，獲得第六人臉關鍵點預測圖像作為軟標簽；

將所述第四樣本圖像輸入所述第一輕量級網絡模型，獲得第七人臉關鍵點預測圖像；

將所述第四樣本圖像輸入所述第二對偶網絡模型，獲得第八人臉關鍵點預測圖像；

計算所述第七人臉關鍵點預測圖像和所述第八人臉關鍵點預測圖像之間的第一蒸餾損失，以及計算所述第八人臉關鍵點預測圖像和所述第七人臉關鍵點預測圖像之間的第二蒸餾損失；

計算所述第六人臉關鍵點預測圖像和所述第七人臉關鍵點預測圖像之間的第三蒸餾損失，以及計算所述第六人臉關鍵點預測圖像和所述第八人臉關鍵點預測圖像之間的第四蒸餾損失；

計算所述第七人臉關鍵點預測圖像和所述第四樣本圖像的真實關鍵點圖像之間的第一誤差損失，以及所述第八人臉關鍵點預測圖像和所述第四樣本圖像的真實關鍵點圖像之間的第二誤差損失；

利用所述第一蒸餾損失、所述第三蒸餾損失和所述第一誤差損失之和對所述第一輕量級網絡模型進行迭代訓練，直至收斂，得到第五輕量級網絡模型；

利用所述第二蒸餾損失、所述第四蒸餾損失和所述第二誤差損失之和對所述第一輕量級網絡模型的第二對偶網絡模型進行迭代訓練，直至收斂，得到第六輕量級網絡模型。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將所述多尺度網絡模型作為第一教師模型，且將第二樣本圖像輸入所述多尺度網絡模型，獲得第二人臉關鍵點預測圖像作為軟標簽；

將所述第二樣本圖像輸入所述第一輕量級網絡模型，獲得第三人臉關鍵點預測圖像；

計算所述第二人臉關鍵點預測圖像和所述第三人臉關鍵點預測圖像之間的損失，對所述第一輕量級網絡模型進行迭代訓練，直至收斂，得到第二輕量級網絡模型。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取所述第一輕量級網絡模型的第一對偶網絡模型；

將第三樣本圖像輸入所述第一輕量級網絡模型，獲得第四人臉關鍵點預測圖像；

將所述第三樣本圖像輸入所述第一對偶網絡模型，獲得第五人臉關鍵點預測圖像；

計算所述第四人臉關鍵點預測圖像和所述第五人臉關鍵點預測圖像之間的第一對偶損失，以及計算所述第五人臉關鍵點預測圖像和所述第四人臉關鍵點預測圖像之間的第二對偶損失；

利用所述第一對偶損失對所述第一輕量級網絡模型進行迭代訓練，直至收斂，得到第三輕量級網絡模型；

利用所述第二對偶損失對所述第一對偶網絡模型進行迭代訓練，直至收斂，得到第四輕量級網絡模型。