[發明專利]一種去遮擋物模型訓練方法、裝置及電子設備

在審

• 申請號: 202110987913.7
• 申請日: 2021-08-26
• 公開（公告）號: CN113673458A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 蘇安煬;唐大閏
• 申請（專利權）人: 上海明略人工智能（集團）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 成都眾恒智合專利代理事務所(普通合伙) 51239
• 代理人: 劉沁

本申請提供一種去遮擋物模型訓練方法、裝置及電子設備，通過獲取訓練數據集，所述訓練數據集至少包括一對訓練樣本，每對訓練樣本包含至少三張圖片，包括源人臉圖片、有遮擋人臉圖片和目標輸出人臉圖片；對每對所述訓練樣本進行人臉關鍵點檢測，確定每對所述訓練樣本對應的98個關鍵點信息；將每對所述訓練樣本中的所述源人臉圖片和所述有遮擋人臉圖片作為輸入參數，所述目標輸出人臉圖片作為目標輸出，輸入至GAN網絡結構中進行模型訓練，得到去遮擋物模型。通過本申請訓練出來的去遮擋物模型，可以支持去除口罩、墨鏡、圍巾等裝飾或遮擋物，從而實現去除人像圖片中的遮擋物的目的。

技術領域

本申請涉及人臉識別技術領域，特別的，尤其涉及一種去遮擋物模型訓練方法、裝置及電子設備。

背景技術

人類偽造、換臉等技術常見于媒體報道，如使用的是常見的換臉技術，將一個人的臉換到另一個人的視頻里，同時要同步表情、眼神等。但是這種換臉技術主要用于進行人臉替換，一般不會使用相同的人進行人臉替換，并不適用于人臉存在遮擋物的情況。

為此，如何去除用于人臉識別圖片中遮擋物，是本領域技術人員亟待解決的問題。

發明內容

鑒于上述內容中的問題，本申請提供了一種去遮擋物模型訓練方法、裝置及電子設備，用以去除用于人臉識別圖片中的遮擋物。

為了實現上述目的，本申請提供了以下技術方案：

一種去遮擋物模型訓練方法，包括：

獲取訓練數據集，所述訓練數據集至少包括一對訓練樣本，每對訓練樣本包含至少三張圖片，包括源人臉圖片、有遮擋人臉圖片和目標輸出人臉圖片；

對每對所述訓練樣本進行人臉關鍵點檢測，確定每對所述訓練樣本對應的98個關鍵點信息；

將每對所述訓練樣本中的所述源人臉圖片和所述有遮擋人臉圖片作為輸入參數，所述目標輸出人臉圖片作為目標輸出，輸入至GAN網絡結構中進行模型訓練，得到去遮擋物模型。

進一步的，當所述源人臉圖片與所述有遮擋人臉圖片為兩張相同人但不完全一致的人臉時，根據所述目標輸出人臉圖片的98個關鍵點信息為所述目標輸出人臉圖片添加遮擋物。

進一步的，當所述有遮擋人臉圖片為實時拍攝得到時，則根據所述源人臉圖片和所述目標輸出人臉圖片去除所述有遮擋人臉圖片中的遮擋物。

進一步的，所述將每對所述訓練樣本中的所述源人臉圖片和所述有遮擋人臉圖片作為輸入參數，所述目標輸出人臉圖片作為目標輸出，包括：

將所述源人臉圖片輸入至第一編碼器，生成第一特征；

將所述有遮擋人臉圖片輸入至第二編碼器，生成第二特征；

通過所述第一特征和所述第二特征生成合成特征；

將所述合成特征與所述98個關鍵點信息進行拼接，得到所述目標輸出人臉圖片。

一種去遮擋物模型訓練裝置，包括：

第一處理單元，用于獲取訓練數據集，所述訓練數據集至少包括一對訓練樣本，每對訓練樣本包含至少三張圖片，包括源人臉圖片、有遮擋人臉圖片和目標輸出人臉圖片；

第二處理單元，用于對每對所述訓練樣本進行人臉關鍵點檢測，確定每對所述訓練樣本對應的98個關鍵點信息；

第三處理單元，用于將每對所述訓練樣本中的所述源人臉圖片和所述有遮擋人臉圖片作為輸入參數，所述目標輸出人臉圖片作為目標輸出，輸入至GAN網絡結構中進行模型訓練，得到去遮擋物模型。

進一步的，當所述源人臉圖片與所述有遮擋人臉圖片為兩張相同人但不完全一致的人臉時，根據所述目標輸出人臉圖片的98個關鍵點信息為所述目標輸出人臉圖片添加遮擋物。