[發(fā)明專利]基于VAE-ACGAN的人臉姿態(tài)虛擬視圖生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910549376.0
• 申請(qǐng)日: 2019-06-24
• 公開（公告）號(hào): CN110348330B
• 公開（公告）日: 2022-06-14
• 發(fā)明（設(shè)計(jì)）人: 于力;肖芳;鄒見效;徐紅兵;楊瞻遠(yuǎn)
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06V10/774
• 分類號(hào): G06V10/774;G06V40/16;G06K9/62;G06N3/04;G06T17/00
• 代理公司: 成都行之專利代理事務(wù)所(普通合伙) 51220
• 代理人: 溫利平;陳靚靚

本發(fā)明公開了一種基于VAE?ACGAN的人臉姿態(tài)虛擬視圖生成方法，構(gòu)建VAE?ACGAN網(wǎng)絡(luò)，包括編碼器E、生成器G和判別器D，其中編碼器E和生成器G構(gòu)成變分自編碼器VAE，生成器G和判別器D構(gòu)成輔助分類?生成對(duì)抗網(wǎng)絡(luò)ACGAN，然后分別獲取ACGAN訓(xùn)練樣本集和VAE訓(xùn)練樣本集，采用ACGAN訓(xùn)練樣本集對(duì)生成器G和判別器D進(jìn)行訓(xùn)練，然后固定生成器G和判別器D的參數(shù)，采用VAE訓(xùn)練樣本集對(duì)編碼器E進(jìn)行訓(xùn)練，得到訓(xùn)練好的VAE?ACGAN網(wǎng)絡(luò)，將需要生成目標(biāo)姿態(tài)角度虛擬視圖的人臉圖像輸入訓(xùn)練好的VAE?ACGAN網(wǎng)絡(luò)，生成器G生成的人臉圖像即為目標(biāo)姿態(tài)角度虛擬視圖。本發(fā)明所構(gòu)建的VAE?ACGAN網(wǎng)絡(luò)，對(duì)輸入圖像的姿態(tài)變化具有較好的魯棒性，可以有效提高生成的虛擬視圖質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，更為具體地講，涉及一種基于VAE-ACGAN的人臉姿態(tài)虛擬視圖生成方法。

背景技術(shù)

生物特征識(shí)別技術(shù)通過提取人體的生物特征進(jìn)行身份鑒別，常用的生物特征有包括指紋、人臉、虹膜、靜脈等。與其他的生物特征相比，人臉以其穩(wěn)定性、易推廣、易被用戶接受和唯一性等優(yōu)點(diǎn)受到越來越多人的關(guān)注和研究。從而被廣泛應(yīng)用在各個(gè)領(lǐng)域中。雖然該技術(shù)在理想可控的環(huán)境下，有較好的研究成果，但是在不可控的真實(shí)自然環(huán)境中，識(shí)別的精度下降較為明顯。姿態(tài)變化是人臉識(shí)別中最為常見且造成識(shí)別率下降的直接因素。針對(duì)姿態(tài)變化的研究也是目前人臉識(shí)別領(lǐng)域的重難點(diǎn)。因此，對(duì)多姿態(tài)人臉的識(shí)別算法研究具有巨大的現(xiàn)實(shí)意義和實(shí)用價(jià)值。

多姿態(tài)人臉識(shí)別算法中，人臉的姿態(tài)變化會(huì)導(dǎo)致識(shí)別率的下降，主要是因?yàn)楫?dāng)人臉發(fā)生偏轉(zhuǎn)、或者俯仰時(shí)，會(huì)導(dǎo)致正面人臉的信息缺失，從而影響算法的識(shí)別性能。針對(duì)該問題，除了早期的傳統(tǒng)方法如基于二維圖像的多姿態(tài)人臉識(shí)別算法之外，也涌現(xiàn)了很多基于圖像三維重建的算法以及基于深度學(xué)習(xí)的方法。目前主流的方法大多是基于姿態(tài)校正和虛擬多姿態(tài)視圖實(shí)現(xiàn)的多姿態(tài)人臉識(shí)別。

在目前已有的多姿態(tài)虛擬視圖生成算法中，大多是通過單張樣本生成多張?zhí)摂M人臉樣本，其主要難點(diǎn)在于生成的虛擬樣本存在模糊、畸變且對(duì)輸入圖像的姿態(tài)變化沒有魯棒性。為了解決該問題，國內(nèi)外的研究方向大概分為兩個(gè)方向：一是基于函數(shù)映射的方法，該方法通過函數(shù)計(jì)算姿態(tài)變化前后的人臉圖像像素的位置，從而生成多姿態(tài)的人臉，這種方法實(shí)現(xiàn)簡單但生成的姿態(tài)與真實(shí)姿態(tài)存在一定的偏差。而是基于3D建模的方法，通過正面人臉圖像建立三維模型，然后經(jīng)過旋轉(zhuǎn)、投影等處理實(shí)現(xiàn)虛擬視圖的生成。雖然該方法在一定條件下能提升多姿態(tài)人臉識(shí)別的性能，但是重建模型耗時(shí)較長且實(shí)時(shí)性較差，當(dāng)待識(shí)別對(duì)象的偏轉(zhuǎn)角度過大時(shí)，臉部信息缺失導(dǎo)致虛擬樣本的生成質(zhì)量不高。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于VAE-ACGAN的人臉姿態(tài)虛擬視圖生成方法，將變分自編碼器VAE和輔助分類-生成對(duì)抗網(wǎng)絡(luò)ACGAN進(jìn)行結(jié)合，構(gòu)建VAE-ACGAN網(wǎng)絡(luò)，提高生成的虛擬視圖質(zhì)量。

為了實(shí)現(xiàn)以上發(fā)明目的，本發(fā)明基于VAE-ACGAN的人臉姿態(tài)虛擬視圖生成方法包括以下步驟：

S1：構(gòu)建VAE-ACGAN網(wǎng)絡(luò)，包括編碼器E、生成器G和判別器D，其中編碼器E和生成器G構(gòu)成變分自編碼器VAE，生成器G和判別器D構(gòu)成輔助分類-生成對(duì)抗網(wǎng)絡(luò)ACGAN，編碼器E對(duì)輸入人臉圖像進(jìn)行編碼，得到編碼噪聲的M維特征向量和編碼角度的N維特征向量，根據(jù)需要設(shè)置目標(biāo)姿態(tài)角度的N維特征向量，將噪聲的M維特征向量和目標(biāo)姿態(tài)角度的N維特征向量組合得到M+N維特征向量輸入至生成器G，生成器G生成目標(biāo)姿態(tài)角度的人臉圖像，判別器D對(duì)生成器G所生成的人臉圖像和目標(biāo)姿態(tài)角度的真實(shí)人臉圖像進(jìn)行判別，得到分類角度與判別分?jǐn)?shù)；

S2：獲取若干目標(biāo)姿態(tài)角度的人臉圖像，歸一化至生成器G的輸出圖像大小尺寸，構(gòu)成ACGAN訓(xùn)練樣本集；獲取若干目標(biāo)姿態(tài)角度的人臉圖像以及相同人臉的其他角度的人臉圖像，歸一化至生成器G的輸出圖像大小尺寸，將相同人臉的其他角度的人臉圖像作為源圖像，對(duì)應(yīng)的目標(biāo)姿態(tài)角度的人臉圖像作為目標(biāo)圖像，構(gòu)成VAE訓(xùn)練樣本集；