[發明專利]一種三維人臉處理方法及電子設備

在審

• 申請號: 202011643370.9
• 申請日: 2020-12-30
• 公開（公告）號: CN112734895A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 屈雁秋;何山;胡金水;殷兵
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06T17/00
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 李申

本申請提供一種三維人臉處理方法包括：重建視頻序列中的三維人臉，以獲取三維人臉參數集；以及使用三維人臉對應的二維人臉圖像紋理，為所述三維人臉參數集添加時域約束，并優化所述三維人臉參數集，以使得所述三維人臉參數集在時域上與二維人臉圖像紋理滿足預設條件，其中所述時域約束由二維圖像紋理的一致性表征。本申請還提供了相應的電子設備。通過上述方案，本申請保證重建后的三維人臉參數的時域連續，并保證三維人臉參數穩定平滑，并且不會造成遲滯問題。

技術領域

本申請的所公開實施例涉及圖像處理技術領域，且更具體而言，涉及一種三維人臉處理方法及電子設備。

背景技術

隨著計算機圖形學與計算機視覺技術的聯系日趨緊密，基于3DMM(三維可變形人臉模型，3D Morphable models)參數化三維人臉模型的研究進展迅速，由單個RGB人臉圖像估計對應三維人臉模型參數的研究方案亦愈發多見。

目前，基于視頻的三維人臉重建任務由于其相對復雜的任務流程，造成逐幀之間生成的三維模型參數差異較大，從而造成生成的三維模型網格在時域上抖動明顯。

發明內容

根據本申請的實施例，本申請提出一種三維人臉處理方法及電子設備。

根據本申請的第一方面，公開一種實例性的三維人臉處理方法。實例性的三維人臉處理方法包括：重建視頻序列中的三維人臉，以獲取三維人臉參數集；以及使用三維人臉對應的二維人臉圖像紋理，為所述三維人臉參數集添加時域約束，并優化所述三維人臉參數集，以使得所述三維人臉參數集在時域上與二維人臉圖像紋理滿足預設條件，其中所述時域約束由二維圖像紋理的一致性表征。

在一些實施例中，所述視頻序列包括當前幀人臉圖像以及下一幀人臉圖像，所述三維人臉參數集包括當前幀三維人臉參數以及下一幀三維人臉參數，其中，所述當前幀三維人臉參數用于表示當前幀三維人臉網格，所述下一幀三維人臉參數用于表示下一幀三維人臉網格；所述使用三維人臉對應的二維圖像紋理，為所述三維人臉參數集添加時域約束，包括：根據所述當前幀人臉圖像及所述當前幀三維人臉網格，獲取當前幀紋理圖像；使用所述當前幀紋理圖像渲染所述下一幀三維人臉網格，以將所述下一幀三維人臉網格投影到所述當前幀人臉圖像，得到當前幀合成圖像。

在一些實施例中，所述優化所述三維人臉參數集，包括：獲取所述當前幀合成圖像到所述下一幀人臉圖像的光流，通過所述光流修正所述下一幀三維人臉網格的頂點到所述下一幀人臉圖像的平面的投影，以達到優化目標，從而使得所述下一幀三維人臉參數在時域上與所述下一幀人臉圖像的紋理滿足所述預設條件。

在一些實施例中，所述優化目標包括第一子目標和第二子目標；所述第一子目標用于表征紋理連續項，其中，所述紋理連續項是由在已優化的所述下一幀三維人臉參數的作用下所述下一幀三維人臉網格的第n個頂點在所述下一幀人臉圖像的坐標下的位置以及在未優化的所述下一幀三維人臉網格的第n個頂點經過所述光流修正后在所述下一幀人臉圖像的坐標下的位置而計算得到的；所述第二子目標用于表征Z坐標平滑項，其中，所述Z坐標平滑項是由在已優化的所述下一幀三維人臉參數的作用下的第m個三維人臉關鍵點的Z坐標值以及在所述當前幀三維人臉參數作用下的第m個三維人臉關鍵點的Z坐標值而計算得到的。

在一些實施例中，所述紋理連續項的值與Z坐標平滑項的值之和小于預設值，則所述下一幀三維人臉參數在時域上與所述下一幀人臉圖像的紋理連續性滿足預設連續性條件，且所述下一幀三維人臉參數的Z坐標滿足預設平滑條件。

在一些實施例中，所述當前幀合成圖像是采用任意可微分渲染器而獲取的。

在一些實施例中，該方法進一步包括：為所述三維人臉參數集添加三維人臉對應的二維關鍵點約束；所述優化所述三維人臉參數集進一步包括：通過所述二維關鍵點約束，優化所述三維人臉參數集，以實現所述三維人臉參數集與二維人臉圖像的一致性。