[發明專利]一種基于參數化模型和位置圖的多度量三維人臉重建方法

在審

• 申請號: 202011048867.6
• 申請日: 2020-09-29
• 公開（公告）號: CN112184912A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 周大可;黃有達;楊欣
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T15/00;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于參數化模型和位置圖的多度量三維人臉重建方法，其特征在于，包括以下步驟：

(1)數據預處理與增強：對二維人臉圖像對應的三維人臉數據進行預處理，轉化為參數化模型和位置圖兩種表示方式，并將三維人臉形變模型的基向量轉化為位置圖表示，同時進行數據增強操作；

(2)參數子網絡設計：將無約束的二維人臉圖像預處理后送入參數子網絡，回歸得到姿態參數、三維人臉形變模型的身份參數和表情參數；

(3)位置圖子網絡輸入數據生成：通過參數子網絡獲得的姿態參數、三維人臉形變模型的身份參數和表情參數，構建記錄三維人臉點云數據的位置圖；并將其與輸入二維人臉圖像堆疊生成位置圖子網絡的輸入數據；

(4)位置圖子網絡設計：將步驟(3)中生成的結果輸入位置圖子網絡，回歸估計三維人臉的位置圖表示；

(5)損失函數設計與三維人臉重建模型訓練：將步驟(3)獲得的由參數構建的位置圖與真值參數構建的位置圖計算加權均方誤差損失函數；并由步驟(4)獲得的位置圖與位置圖真值計算加權均方誤差損失函數；以兩個損失函數求和為整體的損失函數；依據整體損失函數不斷迭代優化，端到端的對步驟(2)到步驟(4)構建的整體網絡進行訓練，獲得最終的三維人臉重建模型；

(6)輸出測試結果：將原始待重建的二維人臉圖像進行裁剪縮放后，輸入步驟(5)生成的三維人臉重建模型中，獲得對三維人臉的參數形式估計和位置圖形式估計。

2.根據權利要求1所述的基于參數化模型和位置圖的多度量三維人臉重建方法，其特征在于，步驟(1)所述的數據增強包括圖片縮放、水平翻轉、隨機平移、隨機旋轉、顏色通道縮放、添加噪聲、灰度化及隨機生成遮擋塊。

3.根據權利要求1所述的基于參數化模型和位置圖的多度量三維人臉重建方法，其特征在于，步驟(2)所述參數子網絡采用深度殘差網絡ResNet50，網絡最后的全連接層輸出234個元素。

4.根據權利要求1所述的基于參數化模型和位置圖的多度量三維人臉重建方法，其特征在于，步驟(4)所述的位置圖子網絡采用采用沙漏網絡，通過回歸位置圖形式記錄的三維人臉數據。

5.根據權利要求1所述的基于參數化模型和位置圖的多度量三維人臉重建方法，其特征在于，所述步驟(5)實現過程如下：

參數子網絡的損失函數采用的加權均方誤差損失函數，其形式如下：

其中：x，y表示任意像素坐標，P_par(x，y)表示參數子網絡預測的參數轉換而來的位置圖，表示參數真值轉換而來的位置圖，W(x，y)表示權重掩膜；

位置圖子網絡的損失函數采用加權均方誤差損失函數，其形式如下：

其中：x，y表示任意像素坐標，P_pos(x，y)表示位置圖子網絡預測的位置圖，表示位置圖真值，W(x，y)與參數子網絡采用的權重掩膜相同；

整體損失函數形式如下：

L_all＝L_pos+k·L_par

其中，L_pos為前述位置圖子網絡損失函數，L_par為前述參數子網絡損失函數，k為調節各部件損失函數的權重，本發明設置為1。