[發明專利]三維人臉的重建方法、裝置、電子設備以及存儲介質

在審

• 申請號: 202110151906.3
• 申請日: 2021-02-03
• 公開（公告）號: CN112819947A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 俞云杰;黃晗;郭彥東
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00;G06T15/50;G06N3/04;G06N3/08
• 代理公司: 深圳市智圈知識產權代理事務所(普通合伙) 44351
• 代理人: 呂靜

1.一種三維人臉的重建方法，其特征在于，所述方法包括：

獲取待重建人臉的形狀參數和紋理參數；

將所述形狀參數輸入第一模型，獲得所述第一模型輸出的三維人臉形狀；

將所述紋理參數輸入第二模型，獲得所述第二模型輸出的人臉紋理貼圖，其中，所述第一模型和所述第二模型中的至少一個基于生成對抗網絡訓練獲得；

基于所述三維人臉形狀和所述人臉紋理貼圖，生成目標三維人臉，其中，所述目標三維人臉包括基于所述人臉紋理貼圖生成的紋理信息。

2.根據權利要求1所述的方法，其特征在于，所述第一模型為已訓練的生成對抗網絡，所述將所述形狀參數輸入第一模型，獲得所述第一模型輸出的三維人臉形狀，包括：

將所述形狀參數輸入所述已訓練的生成對抗網絡，獲得所述已訓練的生成對抗網絡輸出的人臉坐標貼圖；

基于所述人臉坐標貼圖，獲得所述三維人臉形狀。

3.根據權利要求1所述的方法，其特征在于，所述基于所述三維人臉形狀和所述人臉紋理貼圖，生成目標三維人臉之后，還包括：

基于渲染函數、相機參數和光照參數對所述目標三維人臉進行渲染，生成二維渲染人臉。

4.根據權利要求3所述的方法，其特征在于，所述基于渲染函數、相機參數和光照參數對所述目標三維人臉進行渲染，生成二維渲染人臉之后，還包括：

獲取所述待重建人臉的姿態；

基于所述姿態和預設姿態的關系，計算所述待重建人臉以及目標三維人臉的關鍵點損失；

基于所述關鍵點損失對所述形狀參數進行迭代優化，獲得第一優化形狀參數；

將所述第一優化形狀參數作為新的形狀參數輸入所述第一模型。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

基于所述關鍵點損失對所述相機參數進行迭代優化，獲得優化相機參數；

將所述優化相機參數作為新的相機參數進行所述目標三維人臉的渲染。

6.根據權利要求4所述的方法，其特征在于，所述獲取所述待重建人臉的姿態，包括：

對所述待重建人臉進行關鍵點檢測，獲得所述待重建人臉的多個三維人臉關鍵點作為第一人臉關鍵點；

基于所述第一人臉關鍵點，獲取所述待重建人臉的姿態。

7.根據權利要求6所述的方法，其特征在于，所述對所述待重建人臉進行關鍵點檢測，獲得所述待重建人臉的多個三維人臉關鍵點作為第一人臉關鍵點，包括：

對所述待重建人臉進行關鍵點檢測，獲得所述待重建人臉的多個三維人臉關鍵點作為第一人臉關鍵點，并獲取所述待重建人臉的多個二維人臉關鍵點作為第二人臉關鍵點；

所述基于所述姿態和預設姿態的關系，計算所述待重建人臉和所述目標三維人臉的關鍵點損失，包括：

當所述姿態大于所述預設姿態時，獲取所述目標三維人臉的多個三維人臉關鍵點作為第三人臉關鍵點，并計算所述第一人臉關鍵點和所述第三人臉關鍵點的關鍵點損失；

當所述姿態不大于所述預設姿態時，獲取所述目標三維人臉的多個三維人臉關鍵點對應的多個二維人臉關鍵點作為第四人臉關鍵點，并計算所述第二人臉關鍵點和所述第四人臉關鍵點的關鍵點損失。

8.根據權利要求3所述的方法，其特征在于，所述基于渲染函數、相機參數和光照參數對所述目標三維人臉進行渲染，生成二維渲染人臉之后，還包括：

獲取所述待重建人臉的生物特征信息作為第一生物特征信息，并獲取所述二維渲染人臉的生物特征信息作為第二生物特征信息；

基于所述第一生物特征信息和所述第二生物特征信息，計算所述待重建人臉以及二維渲染人臉的生物特征損失；

基于所述生物特征損失對所述形狀參數和所述紋理參數進行迭代優化，獲得第二優化形狀參數和第一優化紋理參數；

將所述第二優化形狀參數作為新的形狀參數輸入所述第一模型，并將所述第一優化紋理參數作為新的紋理參數輸入所述第二模型。