[發(fā)明專利]基于深度學(xué)習(xí)的人臉重建方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011598566.0
• 申請(qǐng)日: 2020-12-29
• 公開(kāi)（公告）號(hào): CN112614229B
• 公開(kāi)（公告）日: 2022-09-09
• 發(fā)明（設(shè)計(jì)）人: 徐楓;王至博
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06T17/20
• 分類號(hào): G06T17/20;G06T15/04;G06V40/16;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 王萌

1.一種基于深度學(xué)習(xí)的人臉重建方法，其特征在于，包括：

獲取人臉多視角圖片數(shù)據(jù)集，利用多視角重建方法對(duì)所述人臉多視角圖片數(shù)據(jù)集中的人臉多視角圖片進(jìn)行重建，獲取不同用戶的人臉三維幾何和紋理圖；

通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述不同用戶的人臉三維幾何和紋理圖和所述人臉多視角圖片數(shù)據(jù)集進(jìn)行訓(xùn)練，獲取深度神經(jīng)網(wǎng)絡(luò)；

將待處理的人臉視頻輸入所述深度神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，獲取所述人臉視頻的中每一幀的人臉三維幾何和紋理圖；

其中，所述通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述不同用戶的人臉三維幾何和紋理和所述人臉多視角圖片數(shù)據(jù)集進(jìn)行訓(xùn)練，獲取深度神經(jīng)網(wǎng)絡(luò)，包括：

所述深度卷積神經(jīng)網(wǎng)絡(luò)的輸入為人臉多視角圖片，輸出為人臉三維幾何和紋理圖，使用所述深度卷積神經(jīng)網(wǎng)絡(luò)輸出和對(duì)應(yīng)的強(qiáng)監(jiān)督信號(hào)之間的損失誤差作為強(qiáng)監(jiān)督訓(xùn)練誤差進(jìn)行訓(xùn)練，其中，不同視角圖片輸入對(duì)應(yīng)的輸出人臉三維幾何和紋理圖之間的損失誤差相等；

其中，利用人臉注冊(cè)方法對(duì)不同的人臉幾何進(jìn)行注冊(cè)，將所有三維人臉表示為具有相同拓?fù)涞娜S模型，所有不同的人臉都表示在相同的平面空間中。

2.如權(quán)利要求1所述的方法，其特征在于，所述將待處理的人臉視頻輸入所述深度神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，獲取所述人臉視頻的中每一幀的人臉三維幾何和紋理圖，包括：

提取所述人臉視頻的每個(gè)視頻幀；

對(duì)所述視頻幀進(jìn)行人臉識(shí)別，獲取人臉圖像；

對(duì)所述人臉圖像進(jìn)行特征提取，獲取人臉三維幾何和紋理圖。

3.如權(quán)利要求1所述的方法，其特征在于，還包括：

通過(guò)攝像頭拍攝不同用戶對(duì)應(yīng)的不同視角的人臉圖片；和/或，接收終端發(fā)送和/或目標(biāo)地址下載的不同用戶對(duì)應(yīng)的不同視角的人臉圖片；

根據(jù)所述人臉圖片生成所述人臉多視角圖片數(shù)據(jù)集。

4.一種基于深度學(xué)習(xí)的人臉重建裝置，其特征在于，包括：

第一獲取模塊，用于獲取人臉多視角圖片數(shù)據(jù)集，利用多視角重建方法對(duì)所述人臉多視角圖片數(shù)據(jù)集中的人臉多視角圖片進(jìn)行重建，獲取不同用戶的人臉三維幾何和紋理圖；

訓(xùn)練模塊，用于通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述不同用戶的人臉三維幾何和紋理圖和所述人臉多視角圖片數(shù)據(jù)集進(jìn)行訓(xùn)練，獲取深度神經(jīng)網(wǎng)絡(luò)；

處理模塊，用于將待處理的人臉視頻輸入所述深度神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，獲取所述人臉視頻的中每一幀的人臉三維幾何和紋理圖；

其中，所述訓(xùn)練模塊，具體用于：

所述深度卷積神經(jīng)網(wǎng)絡(luò)的輸入為人臉多視角圖片，輸出為人臉三維幾何和紋理圖，使用所述深度卷積神經(jīng)網(wǎng)絡(luò)輸出和對(duì)應(yīng)的強(qiáng)監(jiān)督信號(hào)之間的損失誤差作為強(qiáng)監(jiān)督訓(xùn)練誤差進(jìn)行訓(xùn)練，其中，不同視角圖片輸入對(duì)應(yīng)的輸出人臉三維幾何和紋理圖之間的損失誤差相等；

其中，利用人臉注冊(cè)方法對(duì)不同的人臉幾何進(jìn)行注冊(cè)，將所有三維人臉表示為具有相同拓?fù)涞娜S模型，所有不同的人臉都表示在相同的平面空間中。

5.如權(quán)利要求4所述的裝置，其特征在于，所述處理模塊，具體用于：

提取所述人臉視頻的每個(gè)視頻幀；

對(duì)所述視頻幀進(jìn)行人臉識(shí)別，獲取人臉圖像；

對(duì)所述人臉圖像進(jìn)行特征提取，獲取人臉三維幾何和紋理圖。

6.如權(quán)利要求4所述的裝置，其特征在于，還包括：

第二獲取模塊，用于通過(guò)攝像頭拍攝不同用戶對(duì)應(yīng)的不同視角的人臉圖片；和/或，接收終端發(fā)送和/或目標(biāo)地址下載的不同用戶對(duì)應(yīng)的不同視角的人臉圖片；

生成模塊，用于根據(jù)所述人臉圖片生成所述人臉多視角圖片數(shù)據(jù)集。