[發明專利]一種三維人臉處理方法及電子設備

在審

• 申請號: 202011643370.9
• 申請日: 2020-12-30
• 公開（公告）號: CN112734895A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 屈雁秋;何山;胡金水;殷兵
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06T17/00
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 李申

1.一種三維人臉處理方法，其特征在于，包括：

重建視頻序列中的三維人臉，以獲取三維人臉參數集；以及

使用三維人臉對應的二維人臉圖像紋理，為所述三維人臉參數集添加時域約束，并優化所述三維人臉參數集，以使得所述三維人臉參數集在時域上與二維人臉圖像紋理滿足預設條件，其中所述時域約束由二維圖像紋理的一致性表征。

2.如權利要求1中所述的三維人臉處理方法，其特征在于，所述視頻序列包括當前幀人臉圖像以及下一幀人臉圖像，所述三維人臉參數集包括當前幀三維人臉參數以及下一幀三維人臉參數，其中，所述當前幀三維人臉參數用于表示當前幀三維人臉網格，所述下一幀三維人臉參數用于表示下一幀三維人臉網格；

所述使用三維人臉對應的二維圖像紋理，為所述三維人臉參數集添加時域約束，包括：

根據所述當前幀人臉圖像及所述當前幀三維人臉網格，獲取當前幀紋理圖像；

使用所述當前幀紋理圖像渲染所述下一幀三維人臉網格，以將所述下一幀三維人臉網格投影到所述當前幀人臉圖像，得到當前幀合成圖像。

3.如權利要求2中所述的三維人臉處理方法，其特征在于，所述優化所述三維人臉參數集，包括：

獲取所述當前幀合成圖像到所述下一幀人臉圖像的光流，通過所述光流修正所述下一幀三維人臉網格的頂點到所述下一幀人臉圖像的平面的投影，以達到優化目標，從而使得所述下一幀三維人臉參數在時域上與所述下一幀人臉圖像的紋理滿足所述預設條件。

4.如權利要求3中所述的三維人臉處理方法，其特征在于，所述優化目標包括第一子目標和第二子目標；

所述第一子目標用于表征紋理連續項，其中，所述紋理連續項是由在已優化的所述下一幀三維人臉參數的作用下所述下一幀三維人臉網格的第n個頂點在所述下一幀人臉圖像的坐標下的位置以及在未優化的所述下一幀三維人臉網格的第n個頂點經過所述光流修正后在所述下一幀人臉圖像的坐標下的位置而計算得到的；

所述第二子目標用于表征Z坐標平滑項，其中，所述Z坐標平滑項是由在已優化的所述下一幀三維人臉參數的作用下的第m個三維人臉關鍵點的Z坐標值以及在所述當前幀三維人臉參數作用下的第m個三維人臉關鍵點的Z坐標值而計算得到的。

5.如權利要求4中所述的三維人臉處理方法，其特征在于，所述紋理連續項的值與Z坐標平滑項的值之和小于預設值，則所述下一幀三維人臉參數在時域上與所述下一幀人臉圖像的紋理連續性滿足預設連續性條件，且所述下一幀三維人臉參數的Z坐標滿足預設平滑條件。

6.如權利要求2中所述的三維人臉處理方法，其特征在于，所述當前幀合成圖像是采用任意可微分渲染器而獲取的。

7.如權利要求3中所述的三維人臉處理方法，其特征在于，進一步包括：

為所述三維人臉參數集添加三維人臉對應的二維關鍵點約束；

所述優化所述三維人臉參數集進一步包括：

通過所述二維關鍵點約束，優化所述三維人臉參數集，以實現所述三維人臉參數集與二維人臉圖像的一致性。

8.如權利要求7中所述的三維人臉處理方法，其特征在于，所述優化目標進一步包括第三子目標，所述第三子目標用于表征當前幀二維關鍵點約束。

9.一種電子設備，其特征在于，包括處理器和存儲器，所述存儲器存儲有指令，所述指令在執行時使得所述處理器執行如權利要求1-8任一項所述的三維人臉處理方法。

10.一種非易失性計算機存儲介質，其特征在于，存儲有指令，所述指令在執行時使得處理器執行如權利要求1-8任一項所述的三維人臉處理方法。