[發明專利]基于VAE-ACGAN的人臉姿態虛擬視圖生成方法

有效

• 申請號: 201910549376.0
• 申請日: 2019-06-24
• 公開（公告）號: CN110348330B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 于力;肖芳;鄒見效;徐紅兵;楊瞻遠
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V40/16;G06K9/62;G06N3/04;G06T17/00
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平;陳靚靚

1.一種基于VAE-ACGAN的人臉姿態虛擬視圖生成方法，其特征在于，包括以下步驟：

S1：構建VAE-ACGAN網絡，包括編碼器E、生成器G和判別器D，其中編碼器E和生成器G構成變分自編碼器VAE，生成器G和判別器D構成輔助分類-生成對抗網絡ACGAN，編碼器E對輸入人臉圖像進行編碼，得到編碼噪聲的M維特征向量和編碼角度的N維特征向量，根據需要設置目標姿態角度的N維特征向量，將噪聲的M維特征向量和目標姿態角度的N維特征向量組合得到M+N維特征向量輸入至生成器G，生成器G生成目標姿態角度的人臉圖像，判別器D對生成器G所生成的人臉圖像和目標姿態角度的真實人臉圖像進行判別，得到分類角度與判別分數；

S2：獲取若干目標姿態角度的人臉圖像，歸一化至生成器G的輸出圖像大小尺寸，構成ACGAN訓練樣本集；獲取若干目標姿態角度的人臉圖像以及相同人臉的其他角度的人臉圖像，歸一化至生成器G的輸出圖像大小尺寸，將相同人臉的其他角度的人臉圖像作為源圖像，對應的目標姿態角度的人臉圖像作為目標圖像，構成VAE訓練樣本集；

S3：生成M維噪聲輸入向量和N維角度輸入向量，組合得到M+N維輸入向量作為生成器G的輸入，將ACGAN訓練樣本集中的人臉圖像樣本作為判別器D的真實人臉圖像，對生成器G和判別器D進行訓練；

S4：固定生成器G和判別器D的參數不變，將VAE訓練樣本集中的源圖像作為編碼器E的輸入，目標圖像作為判別器D中目標姿態角度的真實人臉圖像，對編碼器E進行訓練，得到訓練好的VAE-ACGAN網絡；

S5：將需要生成目標姿態角度虛擬視圖的人臉圖像歸一化至生成器G的輸出圖像大小尺寸，然后輸入至訓練好的VAE-ACGAN網絡，生成器G生成的人臉圖像即為目標姿態角度虛擬視圖。

2.根據權利要求1所述的人臉姿態虛擬視圖生成方法，其特征在于，所述編碼器E包括卷積層、下采樣殘差網絡和全連接層，編碼器E的輸入為一個大小為128*128的三通道彩色圖像，輸入卷積層進行處理，卷積層的卷積核大小為3*3，卷積核移動步長stride＝1，特征圖邊界填充為1，無偏置；經過卷積層處理后輸出維度為64*128*128的特征圖，然后輸入到下采樣殘差網絡中；經過下采樣殘差網絡處理后輸出維度為512*4*4的特征圖，經過全連接層最后輸出9*64和119*64的特征向量，其中9*64的特征向量是編碼角度的特征向量，119*64的特征向量是編碼噪聲的特征向量；

所述生成器G包括第一卷積層、上采樣殘差網絡結構和第二卷積層，生成器G的輸入為119維的噪聲特征向量以及9維的角度特征向量，組成128維特征向量，通過第一卷積層的處理得到512*4*4的特征圖，輸入到上采樣殘差網絡中；經過上采樣殘差網絡處理后輸出64*128*128的特征圖，輸入到第二卷積層，其中參數和第一卷積層相同，第二卷積層輸出一張與輸入角度對應的大小為128*128的彩色圖像；

所述判別器D的結構與編碼器D的結構相同，在輸出的特征向量中，將9*64的特征向量作為分類角度，將119*64的特征向量作為判別分數。

3.根據權利要求2所述的人臉姿態虛擬視圖生成方法，其特征在于，所述下采樣殘差網絡由5個殘差塊構成，每個殘差塊包含級聯的一層卷積層結構和一層卷積池化結構，均采用ReLU函數作為激活函數，卷積層結構和卷積池化結構中卷積層參數相同：卷積核大小為3*3，卷積核移動步長stride＝1，特征圖邊界填充為1，無偏置；卷積池化結構中的池化采用2維平均池化。

4.根據權利要求2所述的人臉姿態虛擬視圖生成方法，其特征在于，所述上采樣殘差網絡由5個殘差塊構成，每個殘差塊包括級聯的第一卷積層和第二卷積層，兩層卷積層參數相同，卷積核大小為3*3，卷積核移動步長stride＝1，特征圖邊界填充為1，無偏置，第一卷積層的輸出特征圖經實例規范化操作和ReLU激活函數處理后輸入第二卷積層，第二卷積層的輸出特征圖經ReLU激活函數處理后作為殘差塊的輸出。