[發(fā)明專利]基于深度學(xué)習(xí)的人臉重建方法和裝置

有效

• 申請?zhí)枺?/td>: 202011598566.0
• 申請日: 2020-12-29
• 公開（公告）號: CN112614229B
• 公開（公告）日: 2022-09-09
• 發(fā)明（設(shè)計）人: 徐楓;王至博
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T15/04;G06V40/16;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 王萌

本申請?zhí)岢鲆环N基于深度學(xué)習(xí)的人臉重建方法和裝置，涉及圖像處理技術(shù)領(lǐng)域，其中，方法包括：獲取人臉多視角圖片數(shù)據(jù)集，利用多視角重建方法對人臉多視角圖片數(shù)據(jù)集中的人臉多視角圖片進(jìn)行重建，獲取不同用戶的人臉三維幾何和紋理圖；通過深度卷積神經(jīng)網(wǎng)絡(luò)對不同用戶的人臉三維幾何和紋理圖和人臉多視角圖片數(shù)據(jù)集進(jìn)行訓(xùn)練，獲取深度神經(jīng)網(wǎng)絡(luò)；將待處理的人臉視頻輸入深度神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，獲取人臉視頻的中每一幀的人臉三維幾何和紋理圖。由此，僅需用戶錄制一段做不同表情的人臉視頻，就可以得到該人臉的幾何和紋理，重建出的幾何和紋理具有更高的精度。

技術(shù)領(lǐng)域

本申請涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的人臉重建方法和裝置。

背景技術(shù)

人臉三維重建在人臉動畫以及人臉跟蹤中有重要的應(yīng)用。在人臉動畫領(lǐng)域，高精度的人臉幾何和紋理對于人臉動畫的結(jié)果非常重要，使用高精度的幾何和紋理，可以使得人物動畫更加具有真實感。

發(fā)明內(nèi)容

本申請旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

為此，本申請的第一個目的在于提出一種基于深度學(xué)習(xí)的人臉重建方法，僅需用戶錄制一段做不同表情的人臉視頻，就可以得到該人臉的幾何和紋理，重建出的幾何和紋理具有更高的精度。

本申請的第二個目的在于提出一種基于深度學(xué)習(xí)的人臉重建裝置。

為達(dá)上述目的，本申請第一方面實施例提出了一種基于深度學(xué)習(xí)的人臉重建方法，包括：

獲取人臉多視角圖片數(shù)據(jù)集，利用多視角重建方法對所述人臉多視角圖片數(shù)據(jù)集中的人臉多視角圖片進(jìn)行重建，獲取不同用戶的人臉三維幾何和紋理圖；

通過深度卷積神經(jīng)網(wǎng)絡(luò)對所述不同用戶的人臉三維幾何和紋理圖和所述人臉多視角圖片數(shù)據(jù)集進(jìn)行訓(xùn)練，獲取深度神經(jīng)網(wǎng)絡(luò)；

將待處理的人臉視頻輸入所述深度神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，獲取所述人臉視頻的中每一幀的人臉三維幾何和紋理圖。

本申請實施例的基于深度學(xué)習(xí)的人臉重建方法，通過獲取人臉多視角圖片數(shù)據(jù)集，利用多視角重建方法對人臉多視角圖片數(shù)據(jù)集中的人臉多視角圖片進(jìn)行重建，獲取不同用戶的人臉三維幾何和紋理圖；通過深度卷積神經(jīng)網(wǎng)絡(luò)對不同用戶的人臉三維幾何和紋理圖和人臉多視角圖片數(shù)據(jù)集進(jìn)行訓(xùn)練，獲取深度神經(jīng)網(wǎng)絡(luò)；將待處理的人臉視頻輸入深度神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，獲取人臉視頻的中每一幀的人臉三維幾何和紋理圖。由此，僅需用戶錄制一段做不同表情的人臉視頻，就可以得到該人臉的幾何和紋理，重建出的幾何和紋理具有更高的精度。

在本申請的一個實施例中，所述通過深度卷積神經(jīng)網(wǎng)絡(luò)對所述不同用戶的人臉三維幾何和紋理和所述人臉多視角圖片數(shù)據(jù)集進(jìn)行訓(xùn)練，獲取深度神經(jīng)網(wǎng)絡(luò)，包括：

所述深度卷積神經(jīng)網(wǎng)絡(luò)的輸入為人臉多視角圖片，輸出為人臉三維幾何和紋理圖，使用所述深度卷積神經(jīng)網(wǎng)絡(luò)輸出和對應(yīng)的強(qiáng)監(jiān)督信號之間的損失誤差作為強(qiáng)監(jiān)督訓(xùn)練誤差進(jìn)行訓(xùn)練，其中，不同視角圖片輸入對應(yīng)的輸出人臉三維幾何和紋理圖之間的損失誤差相等。

在本申請的一個實施例中，利用人臉注冊方法對不同的人臉幾何進(jìn)行注冊，將所有三維人臉表示為具有相同拓?fù)涞娜S模型，所有不同的人臉都表示在相同的平面空間中。

在本申請的一個實施例中，所述將待處理的人臉視頻輸入所述深度神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，獲取所述人臉視頻的中每一幀的人臉三維幾何和紋理圖，包括：

提取所述人臉視頻的每個視頻幀；

對所述視頻幀進(jìn)行人臉識別，獲取人臉圖像；

對所述人臉圖像進(jìn)行特征提取，獲取人臉三維幾何和紋理圖。

在本申請的一個實施例中，所述基于深度學(xué)習(xí)的人臉重建方法，還包括：