[發(fā)明專利]基于VAE-ACGAN的人臉姿態(tài)虛擬視圖生成方法有效
| 申請(qǐng)?zhí)枺?/td> | 201910549376.0 | 申請(qǐng)日: | 2019-06-24 |
| 公開(kāi)(公告)號(hào): | CN110348330B | 公開(kāi)(公告)日: | 2022-06-14 |
| 發(fā)明(設(shè)計(jì))人: | 于力;肖芳;鄒見(jiàn)效;徐紅兵;楊瞻遠(yuǎn) | 申請(qǐng)(專利權(quán))人: | 電子科技大學(xué) |
| 主分類號(hào): | G06V10/774 | 分類號(hào): | G06V10/774;G06V40/16;G06K9/62;G06N3/04;G06T17/00 |
| 代理公司: | 成都行之專利代理事務(wù)所(普通合伙) 51220 | 代理人: | 溫利平;陳靚靚 |
| 地址: | 611731 四川省成*** | 國(guó)省代碼: | 四川;51 |
| 權(quán)利要求書: | 查看更多 | 說(shuō)明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 基于 vae acgan 姿態(tài) 虛擬 視圖 生成 方法 | ||
1.一種基于VAE-ACGAN的人臉姿態(tài)虛擬視圖生成方法,其特征在于,包括以下步驟:
S1:構(gòu)建VAE-ACGAN網(wǎng)絡(luò),包括編碼器E、生成器G和判別器D,其中編碼器E和生成器G構(gòu)成變分自編碼器VAE,生成器G和判別器D構(gòu)成輔助分類-生成對(duì)抗網(wǎng)絡(luò)ACGAN,編碼器E對(duì)輸入人臉圖像進(jìn)行編碼,得到編碼噪聲的M維特征向量和編碼角度的N維特征向量,根據(jù)需要設(shè)置目標(biāo)姿態(tài)角度的N維特征向量,將噪聲的M維特征向量和目標(biāo)姿態(tài)角度的N維特征向量組合得到M+N維特征向量輸入至生成器G,生成器G生成目標(biāo)姿態(tài)角度的人臉圖像,判別器D對(duì)生成器G所生成的人臉圖像和目標(biāo)姿態(tài)角度的真實(shí)人臉圖像進(jìn)行判別,得到分類角度與判別分?jǐn)?shù);
S2:獲取若干目標(biāo)姿態(tài)角度的人臉圖像,歸一化至生成器G的輸出圖像大小尺寸,構(gòu)成ACGAN訓(xùn)練樣本集;獲取若干目標(biāo)姿態(tài)角度的人臉圖像以及相同人臉的其他角度的人臉圖像,歸一化至生成器G的輸出圖像大小尺寸,將相同人臉的其他角度的人臉圖像作為源圖像,對(duì)應(yīng)的目標(biāo)姿態(tài)角度的人臉圖像作為目標(biāo)圖像,構(gòu)成VAE訓(xùn)練樣本集;
S3:生成M維噪聲輸入向量和N維角度輸入向量,組合得到M+N維輸入向量作為生成器G的輸入,將ACGAN訓(xùn)練樣本集中的人臉圖像樣本作為判別器D的真實(shí)人臉圖像,對(duì)生成器G和判別器D進(jìn)行訓(xùn)練;
S4:固定生成器G和判別器D的參數(shù)不變,將VAE訓(xùn)練樣本集中的源圖像作為編碼器E的輸入,目標(biāo)圖像作為判別器D中目標(biāo)姿態(tài)角度的真實(shí)人臉圖像,對(duì)編碼器E進(jìn)行訓(xùn)練,得到訓(xùn)練好的VAE-ACGAN網(wǎng)絡(luò);
S5:將需要生成目標(biāo)姿態(tài)角度虛擬視圖的人臉圖像歸一化至生成器G的輸出圖像大小尺寸,然后輸入至訓(xùn)練好的VAE-ACGAN網(wǎng)絡(luò),生成器G生成的人臉圖像即為目標(biāo)姿態(tài)角度虛擬視圖。
2.根據(jù)權(quán)利要求1所述的人臉姿態(tài)虛擬視圖生成方法,其特征在于,所述編碼器E包括卷積層、下采樣殘差網(wǎng)絡(luò)和全連接層,編碼器E的輸入為一個(gè)大小為128*128的三通道彩色圖像,輸入卷積層進(jìn)行處理,卷積層的卷積核大小為3*3,卷積核移動(dòng)步長(zhǎng)stride=1,特征圖邊界填充為1,無(wú)偏置;經(jīng)過(guò)卷積層處理后輸出維度為64*128*128的特征圖,然后輸入到下采樣殘差網(wǎng)絡(luò)中;經(jīng)過(guò)下采樣殘差網(wǎng)絡(luò)處理后輸出維度為512*4*4的特征圖,經(jīng)過(guò)全連接層最后輸出9*64和119*64的特征向量,其中9*64的特征向量是編碼角度的特征向量,119*64的特征向量是編碼噪聲的特征向量;
所述生成器G包括第一卷積層、上采樣殘差網(wǎng)絡(luò)結(jié)構(gòu)和第二卷積層,生成器G的輸入為119維的噪聲特征向量以及9維的角度特征向量,組成128維特征向量,通過(guò)第一卷積層的處理得到512*4*4的特征圖,輸入到上采樣殘差網(wǎng)絡(luò)中;經(jīng)過(guò)上采樣殘差網(wǎng)絡(luò)處理后輸出64*128*128的特征圖,輸入到第二卷積層,其中參數(shù)和第一卷積層相同,第二卷積層輸出一張與輸入角度對(duì)應(yīng)的大小為128*128的彩色圖像;
所述判別器D的結(jié)構(gòu)與編碼器D的結(jié)構(gòu)相同,在輸出的特征向量中,將9*64的特征向量作為分類角度,將119*64的特征向量作為判別分?jǐn)?shù)。
3.根據(jù)權(quán)利要求2所述的人臉姿態(tài)虛擬視圖生成方法,其特征在于,所述下采樣殘差網(wǎng)絡(luò)由5個(gè)殘差塊構(gòu)成,每個(gè)殘差塊包含級(jí)聯(lián)的一層卷積層結(jié)構(gòu)和一層卷積池化結(jié)構(gòu),均采用ReLU函數(shù)作為激活函數(shù),卷積層結(jié)構(gòu)和卷積池化結(jié)構(gòu)中卷積層參數(shù)相同:卷積核大小為3*3,卷積核移動(dòng)步長(zhǎng)stride=1,特征圖邊界填充為1,無(wú)偏置;卷積池化結(jié)構(gòu)中的池化采用2維平均池化。
4.根據(jù)權(quán)利要求2所述的人臉姿態(tài)虛擬視圖生成方法,其特征在于,所述上采樣殘差網(wǎng)絡(luò)由5個(gè)殘差塊構(gòu)成,每個(gè)殘差塊包括級(jí)聯(lián)的第一卷積層和第二卷積層,兩層卷積層參數(shù)相同,卷積核大小為3*3,卷積核移動(dòng)步長(zhǎng)stride=1,特征圖邊界填充為1,無(wú)偏置,第一卷積層的輸出特征圖經(jīng)實(shí)例規(guī)范化操作和ReLU激活函數(shù)處理后輸入第二卷積層,第二卷積層的輸出特征圖經(jīng)ReLU激活函數(shù)處理后作為殘差塊的輸出。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于電子科技大學(xué),未經(jīng)電子科技大學(xué)許可,擅自商用是侵權(quán)行為。如果您想購(gòu)買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請(qǐng)聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201910549376.0/1.html,轉(zhuǎn)載請(qǐng)聲明來(lái)源鉆瓜專利網(wǎng)。
- 基于分布和結(jié)構(gòu)匹配生成對(duì)抗網(wǎng)絡(luò)的SAR圖像地物分類方法
- 一種基于ACGAN的極化SAR圖像分類方法
- 一種改進(jìn)輔助分類器GAN的圖像分類方法
- 基于VAE-ACGAN的人臉姿態(tài)虛擬視圖生成方法
- 一種基于ACGAN圖像半監(jiān)督分類算法
- 結(jié)合ACGAN的圖像樣本處理方法、裝置、系統(tǒng)和介質(zhì)
- 基于ACGAN的風(fēng)電機(jī)組行星輪齒輪箱故障診斷方法
- 基于ACGAN-GP的小樣本無(wú)線設(shè)備RF指紋識(shí)別方法及裝置
- 一種醫(yī)學(xué)影像的增強(qiáng)方法、裝置、設(shè)備和介質(zhì)
- 帶鋼表面缺陷檢測(cè)方法及系統(tǒng)
- 一種敏捷衛(wèi)星姿態(tài)機(jī)動(dòng)確定系統(tǒng)
- 座椅自動(dòng)調(diào)節(jié)方法、裝置及終端
- 調(diào)整智能交互機(jī)器人姿態(tài)的方法及智能交互機(jī)器人
- 一種用于同步軌道SAR衛(wèi)星的姿態(tài)機(jī)動(dòng)軌跡計(jì)算方法
- 面部姿態(tài)調(diào)整方法、裝置和終端
- 孕婦姿態(tài)實(shí)時(shí)監(jiān)測(cè)系統(tǒng)
- 具有電磁位置跟蹤的混合姿態(tài)跟蹤系統(tǒng)
- 一種姿態(tài)估計(jì)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)
- 一種基于姿態(tài)質(zhì)量評(píng)估的自適應(yīng)人體姿態(tài)優(yōu)化方法
- 一種機(jī)器人姿態(tài)調(diào)整控制系統(tǒng)





