[發(fā)明專利]一種去遮擋物模型訓(xùn)練方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110987913.7
• 申請(qǐng)日: 2021-08-26
• 公開(kāi)（公告）號(hào): CN113673458A
• 公開(kāi)（公告）日: 2021-11-19
• 發(fā)明（設(shè)計(jì)）人: 蘇安煬;唐大閏
• 申請(qǐng)（專利權(quán)）人: 上海明略人工智能（集團(tuán)）有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 成都眾恒智合專利代理事務(wù)所(普通合伙) 51239
• 代理人: 劉沁

1.一種去遮擋物模型訓(xùn)練方法，其特征在于，包括：

獲取訓(xùn)練數(shù)據(jù)集，所述訓(xùn)練數(shù)據(jù)集至少包括一對(duì)訓(xùn)練樣本，每對(duì)訓(xùn)練樣本包含至少三張圖片，包括源人臉圖片、有遮擋人臉圖片和目標(biāo)輸出人臉圖片；

對(duì)每對(duì)所述訓(xùn)練樣本進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)，確定每對(duì)所述訓(xùn)練樣本對(duì)應(yīng)的98個(gè)關(guān)鍵點(diǎn)信息；

將每對(duì)所述訓(xùn)練樣本中的所述源人臉圖片和所述有遮擋人臉圖片作為輸入?yún)?shù)，所述目標(biāo)輸出人臉圖片作為目標(biāo)輸出，輸入至GAN網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行模型訓(xùn)練，得到去遮擋物模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，當(dāng)所述源人臉圖片與所述有遮擋人臉圖片為兩張相同人但不完全一致的人臉時(shí)，根據(jù)所述目標(biāo)輸出人臉圖片的98個(gè)關(guān)鍵點(diǎn)信息為所述目標(biāo)輸出人臉圖片添加遮擋物。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，當(dāng)所述有遮擋人臉圖片為實(shí)時(shí)拍攝得到時(shí)，則根據(jù)所述源人臉圖片和所述目標(biāo)輸出人臉圖片去除所述有遮擋人臉圖片中的遮擋物。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將每對(duì)所述訓(xùn)練樣本中的所述源人臉圖片和所述有遮擋人臉圖片作為輸入?yún)?shù)，所述目標(biāo)輸出人臉圖片作為目標(biāo)輸出，包括：

將所述源人臉圖片輸入至第一編碼器，生成第一特征；

將所述有遮擋人臉圖片輸入至第二編碼器，生成第二特征；

通過(guò)所述第一特征和所述第二特征生成合成特征；

將所述合成特征與所述98個(gè)關(guān)鍵點(diǎn)信息進(jìn)行拼接，得到所述目標(biāo)輸出人臉圖片。

5.一種去遮擋物模型訓(xùn)練裝置，其特征在于，包括：

第一處理單元，用于獲取訓(xùn)練數(shù)據(jù)集，所述訓(xùn)練數(shù)據(jù)集至少包括一對(duì)訓(xùn)練樣本，每對(duì)訓(xùn)練樣本包含至少三張圖片，包括源人臉圖片、有遮擋人臉圖片和目標(biāo)輸出人臉圖片；

第二處理單元，用于對(duì)每對(duì)所述訓(xùn)練樣本進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)，確定每對(duì)所述訓(xùn)練樣本對(duì)應(yīng)的98個(gè)關(guān)鍵點(diǎn)信息；

第三處理單元，用于將每對(duì)所述訓(xùn)練樣本中的所述源人臉圖片和所述有遮擋人臉圖片作為輸入?yún)?shù)，所述目標(biāo)輸出人臉圖片作為目標(biāo)輸出，輸入至GAN網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行模型訓(xùn)練，得到去遮擋物模型。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，當(dāng)所述源人臉圖片與所述有遮擋人臉圖片為兩張相同人但不完全一致的人臉時(shí)，根據(jù)所述目標(biāo)輸出人臉圖片的98個(gè)關(guān)鍵點(diǎn)信息為所述目標(biāo)輸出人臉圖片添加遮擋物。

7.根據(jù)權(quán)利要求5所述的裝置，其特征在于，當(dāng)所述有遮擋人臉圖片為實(shí)時(shí)拍攝得到時(shí)，則根據(jù)所述源人臉圖片和所述目標(biāo)輸出人臉圖片去除所述有遮擋人臉圖片中的遮擋物。

8.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述第三處理單元具體用于：

將所述源人臉圖片輸入至第一編碼器，生成第一特征；

將所述有遮擋人臉圖片輸入至第二編碼器，生成第二特征；

通過(guò)所述第一特征和所述第二特征生成合成特征；

將所述合成特征與所述98個(gè)關(guān)鍵點(diǎn)信息進(jìn)行拼接，得到所述目標(biāo)輸出人臉圖片。

9.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在所述程序運(yùn)行時(shí)控制所述存儲(chǔ)介質(zhì)所在的設(shè)備執(zhí)行如權(quán)利要求1至4中任一項(xiàng)所述的去遮擋物模型訓(xùn)練方法。

10.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括至少一個(gè)處理器、以及與所述處理器連接的至少一個(gè)存儲(chǔ)器、總線；其中，所述處理器、所述存儲(chǔ)器通過(guò)所述總線完成相互間的通信；所述處理器用于調(diào)用所述存儲(chǔ)器中的程序指令，以執(zhí)行如權(quán)利要求1至4中任一項(xiàng)所述的去遮擋物模型訓(xùn)練方法。