[發明專利]人臉檢測模型的訓練方法、人臉關鍵點的檢測方法和裝置

有效

• 申請號: 201811367129.0
• 申請日: 2018-11-16
• 公開（公告）號: CN109508678B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 陳德健
• 申請（專利權）人: 廣州市百果園信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種人臉檢測模型的訓練方法、人臉關鍵點的檢測方法、裝置、設備和存儲介質，所述訓練方法包括：獲取訓練人臉圖像；基于預設的三維人臉模型對所述訓練人臉圖像進行三維重建，得到訓練三維人臉模型；根據所述訓練三維人臉模型，生成包含所述訓練三維人臉模型的三維坐標的訓練UV坐標圖；采用所述訓練人臉圖像和所述訓練UV坐標圖對語義分割網絡進行訓練，獲得人臉檢測模型，本發明實施例無需對訓練人臉圖像和訓練UV坐標圖進行人工標注，解決了現有技術中訓練數據需要人工預估標注導致訓練數據不準確，造成CNN輸出人臉關鍵點坐標不準確的問題，提高了人臉檢測模型的性能，同時也提高了人臉關鍵點檢測的準確性。

技術領域

本發明實施例涉及數據處理技術領域，尤其涉及一種人臉檢測模型的訓練方法、一種人臉關鍵點的檢測方法、一種人臉檢測模型的訓練裝置、一種人臉關鍵點的檢測裝置、設備和存儲介質。

背景技術

隨著互聯網技術的發展，出現了各種視頻應用程序，通過視頻應用程序人們可以更直觀地進行交流。

在視頻直播或者錄制短視頻的過程中，用戶通常需求對視頻進行一些特效處理，例如對視頻中的人臉添加美顏、貼紙等特效，上述特效的添加依賴于人臉上的眼睛、嘴巴、鼻子等關鍵點，因此，檢測人臉關鍵點的準確度對特效的處理尤其重要。在現有檢測人臉關鍵點的方法中，一種方式是直接回歸，通過把人臉圖像輸入CNN(卷積神經網絡，Convolutional Neural Network)中，回歸出各個關鍵點的坐標，另一種方式是層級法，通過多次預測關鍵點的坐標來提升精度，通過以前一次預測關鍵點的坐標為中心，裁剪出多個局部圖片，再把多個局部圖片輸入CNN中，回歸出關鍵點的最終坐標。

然而在訓練CNN時，在訓練樣本中，當人臉圖像中人臉角度較大時，人臉的某些部位受到遮擋，需要對受遮擋部分進行人工預估標注，導致得到訓練數據不準確，從而造成CNN輸出人臉關鍵點坐標不準確的問題。

發明內容

本發明實施例提供一種人臉檢測模型的訓練方法、一種人臉關鍵點的檢測方法、一種人臉檢測模型的訓練裝置、一種人臉關鍵點的檢測裝置、設備和存儲介質，以解決現有人臉關鍵點的檢測方法存在人臉關鍵點檢測不準確的問題，以提高人臉關鍵點檢測的準確性。

第一方面，本發明實施例提供了一種人臉檢測模型的訓練方法，包括：

獲取訓練人臉圖像；

基于預設的三維人臉模型對所述訓練人臉圖像進行三維重建，得到訓練三維人臉模型；

根據所述訓練三維人臉模型，生成包含所述訓練三維人臉模型的三維坐標的訓練UV坐標圖；

采用所述訓練人臉圖像和所述訓練UV坐標圖對語義分割網絡進行訓練，獲得人臉檢測模型，其中，所述人臉檢測模型用于生成包含三維坐標的UV坐標圖。

第二方面，本發明實施例提供了一種人臉關鍵點的檢測方法，包括：

獲取目標人臉圖像；

將所述目標人臉圖像輸入預先訓練的人臉檢測模型中，以生成所述目標人臉圖像的UV坐標圖，所述UV坐標圖中的每個像素點包含三維坐標；

獲取UV模板圖，所述UV模板圖包含預先標注的人臉關鍵點；

在所述UV坐標圖中確定所述人臉關鍵點對應的像素點，以檢測所述人臉關鍵點的三維坐標。

第三方面，本發明實施例提供了一種人臉檢測模型的訓練裝置，包括：

訓練人臉圖像獲取模塊，用于獲取訓練人臉圖像；

三維重建模塊，用于基于預設的三維人臉模型對所述訓練人臉圖像進行三維重建，得到訓練三維人臉模型；

訓練UV坐標圖生成模塊，用于根據所述訓練三維人臉模型，生成包含所述訓練三維人臉模型的三維坐標的訓練UV坐標圖；