[發(fā)明專利]一種基于分布獨(dú)立性的3D人臉解耦表示學(xué)習(xí)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010023676.8
• 申請(qǐng)日: 2020-01-09
• 公開（公告）號(hào): CN111259745B
• 公開（公告）日: 2022-07-12
• 發(fā)明（設(shè)計(jì)）人: 余璀璨;張子輝;李慧斌;孫劍
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/82;G06V10/84;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 李曉曉

1.一種基于分布獨(dú)立性的3D人臉解耦表示學(xué)習(xí)方法，其特征在于，包括以下步驟：

步驟1：收集3D人臉數(shù)據(jù)集，將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集；

步驟2：根據(jù)訓(xùn)練目標(biāo)對(duì)數(shù)據(jù)集全體數(shù)據(jù)進(jìn)行預(yù)處理及配準(zhǔn)；

步驟3：構(gòu)造用于解耦表示學(xué)習(xí)的圖卷積神經(jīng)網(wǎng)絡(luò)模型；

步驟4：使用訓(xùn)練集訓(xùn)練用于解耦表示學(xué)習(xí)的圖卷積神經(jīng)網(wǎng)絡(luò)模型；

其中，輸入3D人臉若干節(jié)點(diǎn)和邊構(gòu)成的網(wǎng)格M，經(jīng)過編碼器編碼為身份表示z_id及表情表示z_exp，將身份、表情表示傳遞給解碼器D_id與D_exp，解碼器重建的3D人臉與原始輸入相似：

L_rec＝||D_id(z_id)+D_exp(z_exp)-M||₁

其中，L_rec為重建損失，D_id為身份解碼器，z_id為身份表示，D_exp為表情解碼器，z_exp為表情表示；

分別約束表情重建與身份重建的結(jié)果：

其中，M_id為M的中性表情，M_exp為帶有與M相同的表情的模板臉，M_id和M_exp分別表示M的身份和表情，為身份重建損失，D_id(z_id)為身份解碼器重建的3D人臉身份，為表情重建損失，D_exp(z_exp)為表情解碼器重建的3D人臉表情；

同時(shí)約束3D人臉的身份、表情在特征空間的分布為標(biāo)準(zhǔn)正態(tài)分布N(0，1)：

判別器損失為交叉熵?fù)p失：

其中，z^j和分別表示從聯(lián)合分布q(z_id，z_exp)和乘積分布q(z_id)q(z_exp)采樣的樣本，m為批數(shù)量，D(z^j)表示判別器判別z^j采自身份與表情分布獨(dú)立的分布的概率，表示判別器判別采自身份與表情分布獨(dú)立的分布的概率；

訓(xùn)練過程的總損失為：

其中，α₁，α₂，β為超參數(shù)，L_total為總損失函數(shù)；

步驟5：訓(xùn)練完成后，用于解耦表示學(xué)習(xí)的圖卷積神經(jīng)網(wǎng)絡(luò)模型將輸入的3D人臉解耦為身份和表情兩個(gè)部分。

2.根據(jù)權(quán)利要求1所述的一種基于分布獨(dú)立性的3D人臉解耦表示學(xué)習(xí)方法，其特征在于，步驟2中，配準(zhǔn)后，每個(gè)3D人臉樣本用若干節(jié)點(diǎn)和邊構(gòu)成的網(wǎng)格M＝{V，A}表示；|V|＝n代表3D歐氏空間中的n個(gè)節(jié)點(diǎn)，V∈R^n×3；稀疏鄰接矩陣A∈{0，1}^n×n表示節(jié)點(diǎn)之間的連接關(guān)系，A_ij＝0表示節(jié)點(diǎn)v_i和v_j之間沒有連接，反之，A_ij＝1表示節(jié)點(diǎn)v_i和v_j之間有連接。

3.根據(jù)權(quán)利要求1所述的一種基于分布獨(dú)立性的3D人臉解耦表示學(xué)習(xí)方法，其特征在于，步驟3中，用于解耦表示學(xué)習(xí)的圖卷積神經(jīng)網(wǎng)絡(luò)模型包括三個(gè)部分，分別為編碼器、解碼器和判別器；編碼器輸入3D人臉網(wǎng)格，輸出對(duì)應(yīng)的身份表示和表情表示，解碼器的輸入層為編碼器的輸出層的結(jié)果，解碼器將身份表示和表情表示重建出3D人臉，判別器的輸入層也連接編碼器的輸出層，用于判別身份表示與表情表示是否分布獨(dú)立。