[發明專利]一種三維人臉重建的方法、裝置、設備和存儲介質

在審

• 申請號: 202011583279.2
• 申請日: 2020-12-28
• 公開（公告）號: CN112633191A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 張小偉;胡鐘元;劉更代
• 申請（專利權）人: 百果園技術（新加坡）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06T17/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種三維人臉重建的方法，其特征在于，包括：

如果通過預先構建的教師網絡模型已估算出當前視頻幀在三維人臉重建下的穩態重建參數，則將所述當前視頻幀輸入到由所述教師網絡模型蒸餾后的學生網絡模型中，估算所述當前視頻幀在三維人臉重建下的動態重建參數；

將所述穩態重建參數和所述動態重建參數輸入到預先構建的三維形變模型中，重建出所述當前視頻幀對應的三維人臉。

2.根據權利要求1所述的方法，其特征在于，在將所述當前視頻幀輸入到由所述教師網絡模型蒸餾后的學生網絡模型中，估算所述當前視頻幀在三維人臉重建下的動態重建參數之前，還包括：

將與所述當前視頻幀具有同一人臉的關聯視頻幀輸入到所述教師網絡模型中，估算所述關聯視頻幀在三維人臉重建下的綜合重建參數，并將所述綜合重建參數中的穩態重建參數作為所述當前視頻幀在三維人臉重建下的穩態重建參數。

3.根據權利要求2所述的方法，其特征在于，所述關聯視頻幀為所述當前視頻幀所在視頻中具有所述當前視頻幀內人臉的第一個視頻幀，或者所述當前視頻幀所在視頻中具有所述當前視頻幀內人臉的前目標數量的視頻幀；

相應的，如果所述關聯視頻幀為所述當前視頻幀所在視頻中具有所述當前視頻幀內人臉的前目標數量的視頻幀，則所述將所述綜合重建參數中的穩態重建參數作為所述當前視頻幀在三維人臉重建下的穩態重建參數，包括：

分別對各所述關聯視頻幀的綜合重建參數中同一類型下的穩態重建參數進行融合，得到所述當前視頻幀的穩態重建參數。

4.根據權利要求1所述的方法，其特征在于，所述學生網絡模型通過所述教師網絡模型采用如下步驟進行蒸餾后得到：

將視頻訓練集中具有同一人臉的視頻幀訓練對中的第一視頻幀和第二視頻幀輸入到所述教師網絡模型中，估算所述第一視頻幀在三維人臉重建下的第一綜合重建參數和所述第二視頻幀在三維人臉重建下的第二綜合重建參數；

將所述視頻幀訓練對中的第二視頻幀輸入到所述學生網絡模型中，估算出所述第二視頻幀在三維人臉重建下的目標動態重建參數，并將所述第一綜合重建參數中的目標穩態重建參數和所述目標動態重建參數輸入到所述三維形變模型中，重建出所述第二視頻幀對應的三維人臉；

計算所述第二綜合重建參數與所述目標動態重建參數之間的損失函數，以及所述第二視頻幀對應的三維人臉與所述第二視頻幀之間在預設二維監督項下的損失函數，并調整每一所述損失函數對應的權重；

基于每一所述損失函數以及對應的權重生成對應的擬合損失函數，并利用所述擬合損失函數對所述學生網絡模型進行反向修正，以訓練所述學生網絡模型。

5.根據權利要求4所述的方法，其特征在于，所述預設二維監督項下的損失函數包括：圖像像素損失函數、關鍵點損失函數、身份特征損失函數和反照率懲罰函數。

6.根據權利要求5所述的方法，其特征在于，如果計算所述第二視頻幀對應的三維人臉與所述第二視頻幀之間的圖像像素損失函數，則所述方法還包括：

從所述第二視頻幀中分割出對應的皮膚掩膜；

相應的，所述計算所述第二視頻幀對應的三維人臉與所述第二視頻幀之間的圖像像素損失函數，包括：

基于所述皮膚掩膜，計算所述第二視頻幀對應的三維人臉與所述第二視頻幀中處于人臉皮膚區域內的同一像素點的像素誤差，得到對應的圖像像素損失函數。

7.根據權利要求5所述的方法，其特征在于，如果計算所述第二視頻幀對應的三維人臉與所述第二視頻幀之間的關鍵點損失函數，則所述方法還包括：

從所述第二視頻幀中提取預設位置下的關鍵特征點，并確定每一所述關鍵特征點的可見性；

相應的，所述計算所述第二視頻幀對應的三維人臉與所述第二視頻幀之間的關鍵點損失函數，包括：

計算每一可見的關鍵特征點在所述第二視頻幀對應的三維人臉與所述第二視頻幀之間的位置重建誤差，得到對應的關鍵點損失函數。