[發(fā)明專利]基于VAE-ACGAN的人臉姿態(tài)虛擬視圖生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910549376.0
• 申請(qǐng)日: 2019-06-24
• 公開(kāi)（公告）號(hào): CN110348330B
• 公開(kāi)（公告）日: 2022-06-14
• 發(fā)明（設(shè)計(jì)）人: 于力;肖芳;鄒見(jiàn)效;徐紅兵;楊瞻遠(yuǎn)
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06V10/774
• 分類號(hào): G06V10/774;G06V40/16;G06K9/62;G06N3/04;G06T17/00
• 代理公司: 成都行之專利代理事務(wù)所(普通合伙) 51220
• 代理人: 溫利平;陳靚靚

1.一種基于VAE-ACGAN的人臉姿態(tài)虛擬視圖生成方法，其特征在于，包括以下步驟：

S1：構(gòu)建VAE-ACGAN網(wǎng)絡(luò)，包括編碼器E、生成器G和判別器D，其中編碼器E和生成器G構(gòu)成變分自編碼器VAE，生成器G和判別器D構(gòu)成輔助分類-生成對(duì)抗網(wǎng)絡(luò)ACGAN，編碼器E對(duì)輸入人臉圖像進(jìn)行編碼，得到編碼噪聲的M維特征向量和編碼角度的N維特征向量，根據(jù)需要設(shè)置目標(biāo)姿態(tài)角度的N維特征向量，將噪聲的M維特征向量和目標(biāo)姿態(tài)角度的N維特征向量組合得到M+N維特征向量輸入至生成器G，生成器G生成目標(biāo)姿態(tài)角度的人臉圖像，判別器D對(duì)生成器G所生成的人臉圖像和目標(biāo)姿態(tài)角度的真實(shí)人臉圖像進(jìn)行判別，得到分類角度與判別分?jǐn)?shù)；

S2：獲取若干目標(biāo)姿態(tài)角度的人臉圖像，歸一化至生成器G的輸出圖像大小尺寸，構(gòu)成ACGAN訓(xùn)練樣本集；獲取若干目標(biāo)姿態(tài)角度的人臉圖像以及相同人臉的其他角度的人臉圖像，歸一化至生成器G的輸出圖像大小尺寸，將相同人臉的其他角度的人臉圖像作為源圖像，對(duì)應(yīng)的目標(biāo)姿態(tài)角度的人臉圖像作為目標(biāo)圖像，構(gòu)成VAE訓(xùn)練樣本集；

S3：生成M維噪聲輸入向量和N維角度輸入向量，組合得到M+N維輸入向量作為生成器G的輸入，將ACGAN訓(xùn)練樣本集中的人臉圖像樣本作為判別器D的真實(shí)人臉圖像，對(duì)生成器G和判別器D進(jìn)行訓(xùn)練；

S4：固定生成器G和判別器D的參數(shù)不變，將VAE訓(xùn)練樣本集中的源圖像作為編碼器E的輸入，目標(biāo)圖像作為判別器D中目標(biāo)姿態(tài)角度的真實(shí)人臉圖像，對(duì)編碼器E進(jìn)行訓(xùn)練，得到訓(xùn)練好的VAE-ACGAN網(wǎng)絡(luò)；

S5：將需要生成目標(biāo)姿態(tài)角度虛擬視圖的人臉圖像歸一化至生成器G的輸出圖像大小尺寸，然后輸入至訓(xùn)練好的VAE-ACGAN網(wǎng)絡(luò)，生成器G生成的人臉圖像即為目標(biāo)姿態(tài)角度虛擬視圖。

2.根據(jù)權(quán)利要求1所述的人臉姿態(tài)虛擬視圖生成方法，其特征在于，所述編碼器E包括卷積層、下采樣殘差網(wǎng)絡(luò)和全連接層，編碼器E的輸入為一個(gè)大小為128*128的三通道彩色圖像，輸入卷積層進(jìn)行處理，卷積層的卷積核大小為3*3，卷積核移動(dòng)步長(zhǎng)stride＝1，特征圖邊界填充為1，無(wú)偏置；經(jīng)過(guò)卷積層處理后輸出維度為64*128*128的特征圖，然后輸入到下采樣殘差網(wǎng)絡(luò)中；經(jīng)過(guò)下采樣殘差網(wǎng)絡(luò)處理后輸出維度為512*4*4的特征圖，經(jīng)過(guò)全連接層最后輸出9*64和119*64的特征向量，其中9*64的特征向量是編碼角度的特征向量，119*64的特征向量是編碼噪聲的特征向量；

所述生成器G包括第一卷積層、上采樣殘差網(wǎng)絡(luò)結(jié)構(gòu)和第二卷積層，生成器G的輸入為119維的噪聲特征向量以及9維的角度特征向量，組成128維特征向量，通過(guò)第一卷積層的處理得到512*4*4的特征圖，輸入到上采樣殘差網(wǎng)絡(luò)中；經(jīng)過(guò)上采樣殘差網(wǎng)絡(luò)處理后輸出64*128*128的特征圖，輸入到第二卷積層，其中參數(shù)和第一卷積層相同，第二卷積層輸出一張與輸入角度對(duì)應(yīng)的大小為128*128的彩色圖像；

所述判別器D的結(jié)構(gòu)與編碼器D的結(jié)構(gòu)相同，在輸出的特征向量中，將9*64的特征向量作為分類角度，將119*64的特征向量作為判別分?jǐn)?shù)。

3.根據(jù)權(quán)利要求2所述的人臉姿態(tài)虛擬視圖生成方法，其特征在于，所述下采樣殘差網(wǎng)絡(luò)由5個(gè)殘差塊構(gòu)成，每個(gè)殘差塊包含級(jí)聯(lián)的一層卷積層結(jié)構(gòu)和一層卷積池化結(jié)構(gòu)，均采用ReLU函數(shù)作為激活函數(shù)，卷積層結(jié)構(gòu)和卷積池化結(jié)構(gòu)中卷積層參數(shù)相同：卷積核大小為3*3，卷積核移動(dòng)步長(zhǎng)stride＝1，特征圖邊界填充為1，無(wú)偏置；卷積池化結(jié)構(gòu)中的池化采用2維平均池化。

4.根據(jù)權(quán)利要求2所述的人臉姿態(tài)虛擬視圖生成方法，其特征在于，所述上采樣殘差網(wǎng)絡(luò)由5個(gè)殘差塊構(gòu)成，每個(gè)殘差塊包括級(jí)聯(lián)的第一卷積層和第二卷積層，兩層卷積層參數(shù)相同，卷積核大小為3*3，卷積核移動(dòng)步長(zhǎng)stride＝1，特征圖邊界填充為1，無(wú)偏置，第一卷積層的輸出特征圖經(jīng)實(shí)例規(guī)范化操作和ReLU激活函數(shù)處理后輸入第二卷積層，第二卷積層的輸出特征圖經(jīng)ReLU激活函數(shù)處理后作為殘差塊的輸出。