[發明專利]一種基于分布獨立性的3D人臉解耦表示學習方法

有效

• 申請號: 202010023676.8
• 申請日: 2020-01-09
• 公開（公告）號: CN111259745B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 余璀璨;張子輝;李慧斌;孫劍
• 申請（專利權）人: 西安交通大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06V10/84;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 李曉曉

一種基于分布獨立性的3D人臉解耦表示學習方法，收集3D人臉數據集，將數據集分為訓練集和測試集；根據訓練目標對數據集全體數據進行預處理及配準；構造用于解耦表示學習的圖卷積神經網絡模型；使用訓練集訓練用于解耦表示學習的圖卷積神經網絡模型；訓練完成后，用于解耦表示學習的圖卷積神經網絡模型將輸入的3D人臉解耦為身份和表情兩個部分。與基于3DMM的3D人臉解耦方法相比，本發明采用非線性表示，具有更強的3D人臉表示能力。與借助2D幾何圖像的3D人臉解耦方法相比，本發明直接作用于3D人臉網格，避免了將3D映射成2D圖像造成的信息損失。

技術領域

本發明涉及一種學習方法，具體涉及一種基于分布獨立性的3D人臉解耦表示學習方法。

背景技術

人臉的形狀主要由身份及表情決定，由于人臉的表情豐富并且多變，易造成復雜的非線性形變，因此建立魯棒的3D人臉模型是一項具有挑戰性的任務。而學習身份、表情解耦的3D人臉模型對于人臉屬性遷移、人臉重建、識別以及人臉動畫等具有重要意義。

目前3D人臉解耦表示學習的方法主要分為兩類：3D人臉的線性解耦表示；3D人臉的非線性解耦表示。3D人臉線性解耦表示方法一般基于3D可形變模型(3DMM)，其通過主成分分析(PCA)分別學習一組3D人臉身份基底和表情基底后，可以優化3DMM參數以擬合任意3D人臉的形狀。然而，這類方法局限于其線性性，PCA學習的基底表示能力有限，難以表達3D人臉細節以及夸張的表情。

現有的3D人臉非線性解耦表示方法多采用現將3D人臉映射成2D幾何圖像，再使用深度卷積神經網絡實現解耦表示學習，而將3D人臉映射成2D圖像的過程勢必會造成信息損失。

發明內容

針對現有3D人臉解耦表示方法的不足，本發明的目的在于提供一種基于分布獨立性的3D人臉解耦表示學習方法。

為實現上述目的，本發明采用如下的技術方案：

一種基于分布獨立性的3D人臉解耦表示學習方法，包括以下步驟：

步驟1：收集3D人臉數據集，將數據集分為訓練集和測試集；

步驟2：根據訓練目標對數據集全體數據進行預處理及配準；

步驟3：構造用于解耦表示學習的圖卷積神經網絡模型；

步驟4：使用訓練集訓練用于解耦表示學習的圖卷積神經網絡模型；

步驟5：訓練完成后，用于解耦表示學習的圖卷積神經網絡模型將輸入的3D人臉解耦為身份和表情兩個部分。

本發明進一步的改進在于，步驟2中，配準后，每個3D人臉樣本用若干節點和邊構成的網格M＝{V,A}表示；|V|＝n代表3D歐氏空間中的n個節點，V∈R^n×3；稀疏鄰接矩陣A∈{0,1}^n×n表示節點之間的連接關系，A_ij＝0表示節點v_i和v_j之間沒有連接，反之，A_ij＝1表示節點v_i和v_j之間有連接。

本發明進一步的改進在于，步驟3中，用于解耦表示學習的圖卷積神經網絡模型包括三個部分，分別為編碼器、解碼器和判別器；編碼器輸入3D人臉網格，輸出對應的身份表示和表情表示，解碼器的輸入層為編碼器的輸出層的結果，解碼器將身份表示和表情表示重建出3D人臉，判別器的輸入層也連接編碼器的輸出層，用于判別身份表示與表情表示是否分布獨立。