[發明專利]基于弱監督學習的三維人臉重建模型建立方法及其應用

在審

• 申請號: 202111132653.1
• 申請日: 2021-09-27
• 公開（公告）號: CN113781640A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 侯文廣;梅少杰;余勤;王毅凡;董靜嫻
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/11;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 夏倩;李智

1.一種基于弱監督學習的三維人臉重建模型建立方法，其特征在于，包括：

建立用于三維人臉重建的弱監督學習模型，所述弱監督學習模型包括：三維人臉重建網絡，用于從輸入圖像提取三維人臉參數，所述輸入圖像含有人臉圖像，所述三維人臉參數包括形狀參數和粗紋理參數；人臉特征提取模型，用于從所述輸入圖像提取人臉特征向量；GCN優化解碼器，用于根據所述人臉特征向量對所述粗紋理參數進行優化，得到精紋理參數；以及三維人臉生成器，用于根據所述形狀參數和所述精紋理參數生成三維人臉模型；

獲取人臉圖像數據集，對所述弱監督學習模型進行訓練；訓練過程中，將所述弱監督學習模型輸出的三維人臉模型渲染為二維人臉圖像，并基于渲染得到的二維人臉圖像與輸入圖像之間的誤差計算損失值，根據所計算的損失值對模型進行模型參數優化，以最小化二維人臉圖像與輸入圖像之間的誤差；訓練結束后，得到三維人臉重建模型。

2.如權利要求1所述的基于弱監督學習的三維人臉重建模型建立方法，其特征在于，訓練過程中，所使用的損失函數L為：

L＝ε₁[L_p+ε₂L_i]+ε₃L_v

其中，L_p、L_i和L_v分別表示渲染得到的二維人臉圖像相對于輸入圖像的顏色損失、感知損失和頂點損失，ε₁、ε₂和ε₃為用于控制幾種損失的權重常數。

3.如權利要求1或2所述的基于弱監督學習的三維人臉重建模型建立方法，其特征在于，所述三維人臉重建網絡為預訓練好的3DMM回歸器，且所述粗紋理參數包括紋理參數、表情參數、光照參數和姿態參數。

4.如權利要求1或2所述的基于弱監督學習的三維人臉重建模型建立方法，其特征在于，所述人臉特征提取模型包括人臉區域分割模塊和特征提取模塊；

所述人臉區域分割模塊用于從輸入圖像中分割出人臉區域；

所述特征提取模塊用于從所述人臉區域提取人臉特征向量。

5.如權利要求4所述的基于弱監督學習的三維人臉重建模型建立方法，其特征在于，所述特征提取模塊為預訓練好的FaceNet模型去掉Flatten層之后的結構后得到的模型。

6.如權利要求1或2所述的基于弱監督學習的三維人臉重建模型建立方法，其特征在于，訓練過程中，利用可微渲染器將所述弱監督學習模型輸出的三維人臉模型渲染為二維人臉圖像。

7.如權利要求6所述的基于弱監督學習的三維人臉重建模型建立方法，其特征在于，所述可微渲染器為SoftRas。

8.一種三維人臉重建方法，其特征在于，包括：

將含人臉的圖像輸入由權利要求1～7任一項所述的基于弱監督學習的三維人臉重建模型建立方法所建立的三維人臉重建模型，以重建對應的三維人臉模型。

9.如權利要求8所述的三維人臉重建方法，其特征在于，用于中醫面診。

10.一種計算機可讀存儲介質，其特征在于，包括存儲的計算機程序，所述計算機程序被處理器執行時，控制所述計算機可讀存儲介質所在設備執行權利要求1～7任一項所述的基于弱監督學習的三維人臉重建模型建立方法，和/或權利要求8～9任一項所述的三維人臉重建方法。