[發明專利]三維人臉構建方法、裝置和電子設備

在審

• 申請號: 202010798495.2
• 申請日: 2020-08-10
• 公開（公告）號: CN111882643A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 林江科;袁燚;范長杰;胡志鵬
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06T15/50;G06K9/00
• 代理公司: 北京超成律師事務所 11646
• 代理人: 張芮

本發明提供了一種三維人臉構建方法、裝置和電子設備。其中，該方法包括：獲取人臉圖像；確定人臉圖像的人臉特征向量和3DMM系數；將3DMM系數輸入3DMM模型中，輸出人臉圖像的第一人臉紋理和三維人臉形狀；將第一人臉紋理和人臉特征向量輸入至紋理優化模型中，輸出第二人臉紋理；基于三維人臉形狀和第二人臉紋理構建人臉圖像的目標三維人臉。將第一人臉紋理和人臉特征向量輸入至紋理優化模型中，對較為粗糙的第一人臉紋理進行優化，第二人臉紋理具有更為精細的紋理結構，基于第二人臉紋理構建的目標三維人臉因此具有更高的真實度，并且三維人臉構建的過程中無需采集大規模的包含高清人臉紋理的數據集用于訓練，節約了金錢與人力資源。

技術領域

本發明涉及計算機視覺技術領域，尤其是涉及一種三維人臉構建方法、 裝置和電子設備。

背景技術

在計算機視覺領域，從單張人臉圖片中重建三維人臉的形狀和紋理是 一個重要的研究課題?；?DMM(3D Morphable Model，三維人臉可變 性模型)的方法可以成功從單張人臉圖片中重建三維人臉，一般來說，該 方法需要使用幾百個人臉掃描模型基于PCA(Principal Components Analysis， 主成分分析)方法構建靜態人臉形狀和紋理模型。

然而，基于3DMM及其變體的方法雖然能夠從單張人臉圖片上重建人 臉的三維形狀和紋理信息，但是其重建的人臉紋理的真實度卻不夠高。主 要原因是3DMM方法在實驗室環境下采集的少量三維人臉數據進行建模， 該方法在復雜光照條件等不受控制的情況下表現不佳。如果想要在復雜光 照條件下重建高清的人臉紋理信息，需要采集一個大規模的包含高清人臉 紋理的數據集，采集這樣一個數據集需要消耗大量的金錢與人力，對一般人員來說難以實現。

發明內容

有鑒于此，本發明的目的在于提供一種三維人臉構建方法、裝置和電 子設備，以提高三維人臉的真實度，并且節約金錢與人力資源。

第一方面，本發明實施例提供了一種三維人臉構建方法，方法包括： 獲取人臉圖像；確定人臉圖像的人臉特征向量和三維人臉可變性3DMM系 數；將3DMM系數輸入預先設定的3DMM模型中，輸出人臉圖像的第一 人臉紋理和三維人臉形狀；將第一人臉紋理和人臉特征向量輸入至預先訓 練完成的紋理優化模型中，輸出第二人臉紋理；其中，紋理優化模型包括 至少一個圖卷積網絡；基于三維人臉形狀和第二人臉紋理構建人臉圖像的 目標三維人臉。

在本發明較佳的實施例中，上述確定人臉圖像的人臉特征向量和三維 人臉可變性3DMM系數的步驟，包括：將人臉圖像輸入預先訓練完成的特 征提取器模型中，輸出人臉圖像的人臉特征向量；將人臉圖像輸入預先訓 練完成的回歸器模型中，輸出人臉圖像的三維人臉可變性3DMM系數。

在本發明較佳的實施例中，上述紋理優化模型包括圖卷積解碼器、圖 卷積優化器和圖卷積結合網絡；上述將第一人臉紋理和人臉特征向量輸入 至預先訓練完成的紋理優化模型中，輸出第二人臉紋理的步驟，包括：將 人臉特征向量輸入至圖卷積解碼器，輸出第一三維網格；將第一人臉紋理 輸入至圖卷積優化器，輸出第二三維網格；將第一三維網格和第二三維網 格輸入至圖卷積結合網絡，輸出第二人臉紋理。

在本發明較佳的實施例中，上述紋理優化模型通過下述步驟訓練：基 于預設的人臉樣本圖像集確定當前人臉樣本圖像；確定當前人臉樣本圖像 的人臉特征向量和3DMM系數；將當前人臉樣本圖像的3DMM系數輸入 預先設定的3DMM模型中，輸出當前人臉樣本圖像的第一人臉樣本紋理和 三維人臉樣本形狀；將當前人臉樣本圖像的第一人臉樣本紋理和人臉特征 向量輸入至紋理優化模型中，輸出當前人臉樣本圖像的第二人臉樣本紋理； 基于當前人臉樣本圖像的第二人臉樣本紋理計算紋理優化模型的逐頂點損 失值；基于逐頂點損失值調整紋理優化模型的參數；重復執行訓練，直至 訓練的次數達到預設次數閾值或逐頂點損失值收斂為止。