[發明專利]一種臉部圖像豐富度特征的檢測方法及設備

有效

• 申請號: 201910872851.8
• 申請日: 2019-09-16
• 公開（公告）號: CN110728193B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 徐偉;羅琨;陳曉磊
• 申請（專利權）人: 連尚（新昌）網絡科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 王奎宇;甘章乖

本申請的目的是提供一種臉部圖像豐富度特征的檢測方法及設備，本申請通過對獲取的至少一個臉部樣本圖像進行人臉檢測，得到至少一個臉部樣本圖像中各圖像的待檢測區域；對至少一個臉部樣本圖像中各圖像的待檢測區域分別進行臉部特征提取和臉部表情識別，得到至少一個臉部樣本圖像中各圖像的臉部特征信息和臉部表情信息；對至少一個臉部樣本圖像中各圖像的臉部特征信息和臉部表情信息進行特征融合，得到至少一個臉部樣本圖像的豐富度特征，以便后續在臉部圖像替換模型的訓練時能用來評價用于訓練的臉部圖像的樣本質量，使得訓練的臉部圖像替換模型能有效貼合用于替換的人臉的各種面部姿態及表情等，從而提高用戶的換臉體驗度。

技術領域

本申請涉及圖像處理技術領域，尤其涉及一種臉部圖像豐富度特征的檢測方法及設備。

背景技術

人臉替換技術是計算機視覺領域中一個重要的研究方向，由于人臉替換技術代替了photoshop等軟件手工進行圖像編輯融合等各種弊端，因而在商業、娛樂及其一些特殊的行業有著巨大的影響。在現有的深度人臉識別技術(如深度換臉)中，對于用戶或第三方提供的一批人臉樣本，往往沒有建立起有效的樣本質量評價體系(比如，樣本豐富度)，很難保證最終合成樣本的可靠性，很容易導致訓練模型無法有效貼合模版樣本中目標人臉的各種面部姿態，表情等，使得最終的效果很差，從而降低換臉體驗度。

發明內容

本申請的一個目的是提供一種臉部圖像豐富度特征的檢測方法及設備，以解決現有技術中在進行人臉識別過程中缺乏人臉的豐富度特征的問題。

根據本申請的一個方面，提供了一種臉部圖像豐富度特征的檢測方法，其中，所述方法包括：

獲取至少一個臉部樣本圖像；

對所述至少一個臉部樣本圖像進行人臉檢測，得到所述至少一個臉部樣本圖像中各圖像的待檢測區域；

對所述至少一個臉部樣本圖像中各圖像的待檢測區域進行臉部特征提取得到所述至少一個臉部樣本圖像中各圖像的臉部特征信息；

對所述至少一個臉部樣本圖像中各圖像的待檢測區域進行臉部表情識別得到所述至少一個臉部樣本圖像中各圖像的臉部表情信息；

對所述至少一個臉部樣本圖像中各圖像的臉部特征信息和臉部表情信息進行特征融合，得到所述至少一個臉部樣本圖像的豐富度特征。

進一步地，上述方法中，所述臉部特征信息包括所述臉部特征點信息和臉部角度信息，其中，

所述對所述至少一個臉部樣本圖像中各圖像的待檢測區域進行臉部特征提取得到所述至少一個臉部樣本圖像中各圖像的臉部特征信息，包括：

對所述至少一個臉部樣本圖像中各圖像的待檢測區域進行臉部特征點提取，得到所述至少一個臉部樣本圖像中各圖像的臉部特征點信息；

對所述至少一個臉部樣本圖像中各圖像的臉部特征點信息進行臉部角度識別，得到所述至少一個臉部樣本圖像中各圖像的臉部角度信息；

其中，所述對所述至少一個臉部樣本圖像中各圖像的臉部特征信息和臉部表情信息進行特征融合，得到所述至少一個臉部樣本圖像的豐富度特征，包括：

對所述至少一個臉部樣本圖像中各圖像的臉部特征點信息、臉部角度信息和臉部表情信息進行特征融合，得到所述至少一個臉部樣本圖像的豐富度特征。

進一步地，上述方法中，所述對所述至少一個臉部樣本圖像中各圖像的待檢測區域進行臉部特征點提取，得到所述至少一個臉部樣本圖像中各圖像的臉部特征點信息，包括：

獲取用于檢測臉部特征的關鍵點定位模型，其中，所述關鍵點定位模型由局部二值化特征算法和隨機森林算法訓練得到；

通過所述關鍵點定位模型，對所述至少一個臉部樣本圖像中各圖像的待檢測區域進行臉部特征點提取，得到所述至少一個臉部樣本圖像中各圖像的臉部特征點信息。