[發(fā)明專利]三維人臉的重建方法、裝置、電子設(shè)備以及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110151906.3
• 申請(qǐng)日: 2021-02-03
• 公開（公告）號(hào): CN112819947A
• 公開（公告）日: 2021-05-18
• 發(fā)明（設(shè)計(jì)）人: 俞云杰;黃晗;郭彥東
• 申請(qǐng)（專利權(quán)）人: OPPO廣東移動(dòng)通信有限公司
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T15/00;G06T15/50;G06N3/04;G06N3/08
• 代理公司: 深圳市智圈知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44351
• 代理人: 呂靜

1.一種三維人臉的重建方法，其特征在于，所述方法包括：

獲取待重建人臉的形狀參數(shù)和紋理參數(shù)；

將所述形狀參數(shù)輸入第一模型，獲得所述第一模型輸出的三維人臉形狀；

將所述紋理參數(shù)輸入第二模型，獲得所述第二模型輸出的人臉紋理貼圖，其中，所述第一模型和所述第二模型中的至少一個(gè)基于生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練獲得；

基于所述三維人臉形狀和所述人臉紋理貼圖，生成目標(biāo)三維人臉，其中，所述目標(biāo)三維人臉包括基于所述人臉紋理貼圖生成的紋理信息。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一模型為已訓(xùn)練的生成對(duì)抗網(wǎng)絡(luò)，所述將所述形狀參數(shù)輸入第一模型，獲得所述第一模型輸出的三維人臉形狀，包括：

將所述形狀參數(shù)輸入所述已訓(xùn)練的生成對(duì)抗網(wǎng)絡(luò)，獲得所述已訓(xùn)練的生成對(duì)抗網(wǎng)絡(luò)輸出的人臉坐標(biāo)貼圖；

基于所述人臉坐標(biāo)貼圖，獲得所述三維人臉形狀。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述三維人臉形狀和所述人臉紋理貼圖，生成目標(biāo)三維人臉之后，還包括：

基于渲染函數(shù)、相機(jī)參數(shù)和光照參數(shù)對(duì)所述目標(biāo)三維人臉進(jìn)行渲染，生成二維渲染人臉。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于渲染函數(shù)、相機(jī)參數(shù)和光照參數(shù)對(duì)所述目標(biāo)三維人臉進(jìn)行渲染，生成二維渲染人臉之后，還包括：

獲取所述待重建人臉的姿態(tài)；

基于所述姿態(tài)和預(yù)設(shè)姿態(tài)的關(guān)系，計(jì)算所述待重建人臉以及目標(biāo)三維人臉的關(guān)鍵點(diǎn)損失；

基于所述關(guān)鍵點(diǎn)損失對(duì)所述形狀參數(shù)進(jìn)行迭代優(yōu)化，獲得第一優(yōu)化形狀參數(shù)；

將所述第一優(yōu)化形狀參數(shù)作為新的形狀參數(shù)輸入所述第一模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

基于所述關(guān)鍵點(diǎn)損失對(duì)所述相機(jī)參數(shù)進(jìn)行迭代優(yōu)化，獲得優(yōu)化相機(jī)參數(shù)；

將所述優(yōu)化相機(jī)參數(shù)作為新的相機(jī)參數(shù)進(jìn)行所述目標(biāo)三維人臉的渲染。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述獲取所述待重建人臉的姿態(tài)，包括：

對(duì)所述待重建人臉進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，獲得所述待重建人臉的多個(gè)三維人臉關(guān)鍵點(diǎn)作為第一人臉關(guān)鍵點(diǎn)；

基于所述第一人臉關(guān)鍵點(diǎn)，獲取所述待重建人臉的姿態(tài)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述對(duì)所述待重建人臉進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，獲得所述待重建人臉的多個(gè)三維人臉關(guān)鍵點(diǎn)作為第一人臉關(guān)鍵點(diǎn)，包括：

對(duì)所述待重建人臉進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，獲得所述待重建人臉的多個(gè)三維人臉關(guān)鍵點(diǎn)作為第一人臉關(guān)鍵點(diǎn)，并獲取所述待重建人臉的多個(gè)二維人臉關(guān)鍵點(diǎn)作為第二人臉關(guān)鍵點(diǎn)；

所述基于所述姿態(tài)和預(yù)設(shè)姿態(tài)的關(guān)系，計(jì)算所述待重建人臉和所述目標(biāo)三維人臉的關(guān)鍵點(diǎn)損失，包括：

當(dāng)所述姿態(tài)大于所述預(yù)設(shè)姿態(tài)時(shí)，獲取所述目標(biāo)三維人臉的多個(gè)三維人臉關(guān)鍵點(diǎn)作為第三人臉關(guān)鍵點(diǎn)，并計(jì)算所述第一人臉關(guān)鍵點(diǎn)和所述第三人臉關(guān)鍵點(diǎn)的關(guān)鍵點(diǎn)損失；

當(dāng)所述姿態(tài)不大于所述預(yù)設(shè)姿態(tài)時(shí)，獲取所述目標(biāo)三維人臉的多個(gè)三維人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的多個(gè)二維人臉關(guān)鍵點(diǎn)作為第四人臉關(guān)鍵點(diǎn)，并計(jì)算所述第二人臉關(guān)鍵點(diǎn)和所述第四人臉關(guān)鍵點(diǎn)的關(guān)鍵點(diǎn)損失。

8.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于渲染函數(shù)、相機(jī)參數(shù)和光照參數(shù)對(duì)所述目標(biāo)三維人臉進(jìn)行渲染，生成二維渲染人臉之后，還包括：

獲取所述待重建人臉的生物特征信息作為第一生物特征信息，并獲取所述二維渲染人臉的生物特征信息作為第二生物特征信息；

基于所述第一生物特征信息和所述第二生物特征信息，計(jì)算所述待重建人臉以及二維渲染人臉的生物特征損失；

基于所述生物特征損失對(duì)所述形狀參數(shù)和所述紋理參數(shù)進(jìn)行迭代優(yōu)化，獲得第二優(yōu)化形狀參數(shù)和第一優(yōu)化紋理參數(shù)；

將所述第二優(yōu)化形狀參數(shù)作為新的形狀參數(shù)輸入所述第一模型，并將所述第一優(yōu)化紋理參數(shù)作為新的紋理參數(shù)輸入所述第二模型。