[發(fā)明專(zhuān)利]三維人臉重建方法及其裝置、設(shè)備、介質(zhì)、產(chǎn)品

在審

• 申請(qǐng)?zhí)枺?/td>: 202210969989.1
• 申請(qǐng)日: 2022-08-12
• 公開(kāi)（公告）號(hào): CN115330947A
• 公開(kāi)（公告）日: 2022-11-11
• 發(fā)明（設(shè)計(jì)）人: 靳凱
• 申請(qǐng)（專(zhuān)利權(quán)）人: 百果園技術(shù)（新加坡）有限公司
• 主分類(lèi)號(hào): G06T17/00
• 分類(lèi)號(hào): G06T17/00;G06V10/46;G06V10/82;G06V40/16
• 代理公司: 廣州利能知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44673
• 代理人: 王增鑫

1.一種三維人臉重建方法，其特征在于，包括：

獲取人臉影像數(shù)據(jù)，提取其中的人臉圖像；

對(duì)所述人臉圖像實(shí)施關(guān)鍵點(diǎn)檢測(cè)，獲得其中人臉關(guān)鍵點(diǎn)所在區(qū)域的人臉區(qū)域圖像；

采用預(yù)訓(xùn)練至收斂狀態(tài)的三維人臉重建網(wǎng)絡(luò)的雙線性建模層針對(duì)所述人臉區(qū)域圖像進(jìn)行人臉身份和人臉表情的雙線性建模，獲得參數(shù)化的三維人臉模型；

采用所述三維人臉重建網(wǎng)絡(luò)的參數(shù)映射層將所述人臉區(qū)域圖像映射為所述參數(shù)化的三維人臉模型中相對(duì)應(yīng)的參數(shù)系數(shù)，所述參數(shù)系數(shù)包括與所述人臉身份對(duì)應(yīng)的身份系數(shù)和與所述人臉表情對(duì)應(yīng)的表情系數(shù)。

2.根據(jù)權(quán)利要求1所述的三維人臉重建方法，其特征在于，采用所述三維人臉重建網(wǎng)絡(luò)的參數(shù)映射層將所述人臉區(qū)域圖像映射為所述參數(shù)化的三維人臉模型中相對(duì)應(yīng)的參數(shù)系數(shù)之后，包括：

獲取構(gòu)成所述參數(shù)化的三維人臉模型所需的目標(biāo)參數(shù)系數(shù)，其中包括預(yù)先指定的身份系數(shù)和預(yù)先指定的表情系數(shù)；

將所述目標(biāo)參數(shù)系數(shù)遷移至相應(yīng)數(shù)字人的三維人臉模型中，獲得數(shù)字人的三維人臉模型；

將所述數(shù)字人的三維人臉模型渲染投影到二維圖像空間，獲得數(shù)字人圖像。

3.根據(jù)權(quán)利要求1所述的三維人臉重建方法，其特征在于，對(duì)所述人臉圖像實(shí)施關(guān)鍵點(diǎn)檢測(cè)，獲得其中人臉關(guān)鍵點(diǎn)所在區(qū)域的人臉區(qū)域圖像，包括：

針對(duì)所述人臉圖像進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)，獲得人臉區(qū)域圖像和人臉關(guān)鍵點(diǎn)信息；

對(duì)齊所述人臉關(guān)鍵點(diǎn)與標(biāo)準(zhǔn)人臉關(guān)鍵點(diǎn)，獲得標(biāo)準(zhǔn)對(duì)齊參數(shù)，所述標(biāo)準(zhǔn)人臉關(guān)鍵點(diǎn)為標(biāo)準(zhǔn)三維人臉模型經(jīng)二維投影獲得的相應(yīng)人臉關(guān)鍵點(diǎn)；

根據(jù)所述標(biāo)準(zhǔn)對(duì)齊參數(shù)對(duì)齊所述人臉區(qū)域圖像。

4.根據(jù)權(quán)利要求1所述的三維人臉重建方法，其特征在于，采用所述三維人臉重建網(wǎng)絡(luò)的參數(shù)映射層將所述人臉區(qū)域圖像映射為所述參數(shù)化的三維人臉模型中相對(duì)應(yīng)的參數(shù)系數(shù)，包括：

采用所述三維人臉重建網(wǎng)絡(luò)中的編碼器針對(duì)所述人臉區(qū)域圖像進(jìn)行特征提取，獲得人臉特征圖；

針對(duì)所述人臉特征圖進(jìn)行空間映射，獲得所述雙線性建模層中的參數(shù)系數(shù)。

5.據(jù)權(quán)利要求4所述的三維人臉重建方法，其特征在于，針對(duì)所述人臉特征圖進(jìn)行空間映射，獲得所述雙線性建模層中的參數(shù)系數(shù)，包括：

將所述人臉特征圖進(jìn)行語(yǔ)義空間映射，獲得人臉特征向量；

將所述人臉特征向量進(jìn)行參數(shù)空間映射，獲得所述雙線性建模層中的參數(shù)系數(shù)。

6.據(jù)權(quán)利要求1至5中任意一項(xiàng)所述的三維人臉重建方法，其特征在于，所述三維人臉重建網(wǎng)絡(luò)的訓(xùn)練過(guò)程，包括：

獲取預(yù)處理后的人臉影像數(shù)據(jù)的單個(gè)樣本；

獲取所述單個(gè)樣本中的人臉區(qū)域圖像、人臉關(guān)鍵點(diǎn)和三維人臉模型姿態(tài)系數(shù)；

采用所述三維人臉重建網(wǎng)絡(luò)重建獲得所述人臉區(qū)域圖像的三維人臉模型，經(jīng)渲染投影至二維中獲得人臉重建圖像；

根據(jù)所述人臉區(qū)域圖像與所述人臉重建圖像計(jì)算重建損失值，根據(jù)該重建損失值對(duì)所述三維人臉重建網(wǎng)絡(luò)進(jìn)行參數(shù)更新；

重復(fù)以上操作，直至預(yù)設(shè)終止條件觸發(fā)而結(jié)束訓(xùn)練，獲得所述三維人臉重建網(wǎng)絡(luò)。

7.據(jù)權(quán)利要求6所述的三維人臉重建方法，其特征在于，所述根據(jù)所述對(duì)齊后的人臉區(qū)域圖像與所述重建人臉圖像計(jì)算重建損失值，包括：

計(jì)算第一損失值，所述第一損失值用于最小化所述人臉區(qū)域圖像與所述人臉重建圖像之間的誤差；

計(jì)算第二損失值，所述第二損失值用于加強(qiáng)所述人臉區(qū)域圖像與所述人臉重建圖像之間形狀及像素級(jí)別的對(duì)齊；

計(jì)算第三損失值，所述第三損失值用于保證姿態(tài)具備較高準(zhǔn)確性；

計(jì)算第四損失值，所述第四損失值用于優(yōu)化二維投影中投影點(diǎn)的準(zhǔn)確性；

計(jì)算重建損失值，所述重建損失值為第一損失值和第二損失值、第三損失值、第四損失值的加權(quán)融合。