[發明專利]基于無監督的RGB單圖三維人臉重建方法、系統及電子設備

在審

• 申請號: 202111193251.2
• 申請日: 2021-10-13
• 公開（公告）號: CN113869273A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 張毓峰;余清洲
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T15/00;G06T15/04;G06T17/00;G06N3/04;G06N3/08
• 代理公司: 廈門仕誠聯合知識產權代理事務所(普通合伙) 35227
• 代理人: 蔡稷元

1.基于無監督的RGB單圖三維人臉重建方法，其特征在于：所述方法包括：

獲取單張RGB單圖；

分析所述RGB單圖，生成三維人臉數據信息；

獲取所述三維人臉數據信息，對所述三維人臉數據信息進行三維重建處理，生成三維人臉結構；

根據所述三維人臉結構，生成三維人臉圖像。

2.根據權利要求1所述的基于無監督的RGB單圖三維人臉重建方法，其特征在于：所述三維人臉重建方法還包括：

對所述三維人臉圖像計算損失函數，以梯度回傳的方式對卷積神經網絡參數進行更新。

3.根據權利要求2所述的基于無監督的RGB單圖三維人臉重建方法，其特征在于：所述分析所述RGB單圖，生成三維人臉數據信息包括：

將所述RGB單圖輸入至預先定義完成的卷積神經網絡；

卷積神經網絡輸出人臉三維信息；

其中，所述三維人臉數據信息包括：人臉的形狀系數、表情系數、位置系數。

4.根據權利要求3所述的基于無監督的RGB單圖三維人臉重建方法，其特征在于：所述對所述三維人臉數據信息進行三維重建處理包括：

通過

對人臉進行三維重建；

其中，

S表示重建出的三維人臉模型；

表示人臉三維模型的平均形狀；

α_id表示人臉的形狀系數；

A_id表示由人臉模型進行PCA主成成分分析得到的特征向量；

α_exp表示人臉的表情系數；

A_exp表示各種表情去掉均值后平均后得到的表情基。

5.根據權利要求4所述的基于無監督的RGB單圖三維人臉重建方法，其特征在于：所述對所述三維人臉數據信息進行三維重建處理還包括：

通過

重建得到人臉在輸入的單張RGB圖像中的位置；

其中，

表示(1)式中得到的人臉三維模型；

T_3d表示(1)式中得到的位置系數的旋轉；

R表示(1)式中得到的位置系數的平移；

Pr表示透視投影矩陣。

6.根據權利要求5所述的基于無監督的RGB單圖三維人臉重建方法，其特征在于：所述對所述三維人臉數據信息進行三維重建處理還包括：

通過

G(x,y)＝f(h(x,y)) (3)

對投影坐標在圖像中的位置進行采樣，得到人臉的紋理信息；

其中：

G(x,y)表示采集到的紋理信息；

f表示原圖像；

h(x,y)表示重建出的三維人臉點在圖像中的二維坐標。

7.根據權利要求1-6中任一項所述的基于無監督的RGB單圖三維人臉重建方法，其特征在于：所述對根據所述三維人臉信息數據，生成三維人臉圖像還包括：

通過

I′＝I·M+R·(1-M) (4)

獲得三維人臉圖像；

其中：

I′表示人臉渲染后貼圖到原圖中的圖像，

I表示用戶輸入圖，

M表示渲染時候得到的Mask二值圖，

R表示重建出的人臉圖像。

8.根據權利要求2所述的基于無監督的RGB單圖三維人臉重建方法，其特征在于：所述對所述三維人臉圖像計算損失函數，以梯度回傳的方式對卷積神經網絡參數進行更新還包括：

計算圖像的一致性損失；

計算人臉點損失；

計算生成的圖像的人臉識別特征和用戶輸入圖像的人臉識別特征之間的余弦距離；

利用分類網絡對輸入的圖像和生成的圖像進行區分，計算損失；

計算人臉對齊點所有的邊緣點的距離損失；

通過損失函數對預設完成的網絡采用梯度下降法進行訓練，對卷積神經網絡參數進行更新。