[發(fā)明專利]一種基于非配對圖像的多視角人臉圖像生成方法

有效

• 申請?zhí)枺?/td>: 202010204022.5
• 申請日: 2020-03-21
• 公開（公告）號: CN111445548B
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計）人: 閔衛(wèi)東;王帥;熊辛
• 申請（專利權(quán)）人: 南昌大學(xué)
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04;G06N3/08;G06V40/16
• 代理公司: 北京眾合誠成知識產(chǎn)權(quán)代理有限公司 11246
• 代理人: 袁紅梅

1.一種基于非配對圖像的多視角人臉圖像生成方法，其特征在于：所述方法基于對抗自編碼器和生成對抗網(wǎng)絡(luò)，結(jié)構(gòu)由編碼器、生成器和三個判別器構(gòu)成，包括以下步驟：

步驟A：訓(xùn)練時，編碼器E將輸入的人臉圖像分別映射為身份表示z和視角表示判別器D_z迫使z服從均勻分布，判別器D_v迫使服從范疇分布；

步驟B：使用半監(jiān)督學(xué)習(xí)，將無標(biāo)簽數(shù)據(jù)和有標(biāo)簽數(shù)據(jù)交替輸入編碼器E，通過最小化真實視角標(biāo)簽v和對應(yīng)預(yù)測的視角標(biāo)簽的交叉熵，使編碼器E逐漸成為一個好的視角估計器；

步驟C：生成器G利用和z重建圖像，重建的結(jié)果與真實圖像分別與連接后輸入判別器D_img進(jìn)行相似性判斷；

步驟D：測試時，使用訓(xùn)練好的編碼器解開身份表示和視角表示，然后將多個代表視角的one-hot向量分別強(qiáng)加給身份表示，將它們輸入訓(xùn)練好的生成器生成多視角圖像。

2.根據(jù)權(quán)利要求1所述的一種基于非配對圖像的多視角人臉圖像生成方法，其特征在于：所述步驟A具體包括：

①得到人臉的身份表示，輸入的人臉圖像x被編碼器E映射為特征向量z，然后特征向量z和從先驗分布中采樣得到的樣本被輸入判別器D_z，通過min-max game訓(xùn)練E和D_z，迫使z逐漸接近均勻分布：

其中，p_z(z)表示先驗分布，p_data(x)表示真實輸入圖像的數(shù)據(jù)分布，n表示人臉特征的維數(shù)，z′～p_z(z)表示p_z(z)的隨機(jī)抽樣過程；

②得到人臉的視角表示，編碼器E將人臉圖像x映射為視角向量將和從先驗分布中采樣得到的樣本輸入判別器D_v，使編碼器E生成視角標(biāo)簽，同時讓D_v可以區(qū)分真實標(biāo)簽和預(yù)測標(biāo)簽，通過min-max game訓(xùn)練E和D_v，迫使逐漸接近范疇分布：

其中，p_v(v)表示先驗分布，n表示視角個數(shù)，v′～p_v(v)表示p_v(v)的隨機(jī)抽樣過程。

3.根據(jù)權(quán)利要求2所述的一種基于非配對圖像的多視角人臉圖像生成方法，其特征在于：所述步驟B具體包括：

S1.將無標(biāo)簽數(shù)據(jù)和有標(biāo)簽數(shù)據(jù)交替輸入編碼器，直到有標(biāo)簽數(shù)據(jù)被全部使用，通過下式計算真實標(biāo)簽v和編碼器E的輸出的交叉熵：

通過最小化交叉熵優(yōu)化E，以降低分類誤差；

S2.當(dāng)輸入有標(biāo)簽數(shù)據(jù)時，通過式(3)更新E；通過這種策略，充分利用了未標(biāo)記數(shù)據(jù)，經(jīng)過多次迭代，使E成為一個好的視圖估計器。

4.根據(jù)權(quán)利要求1所述的一種基于非配對圖像的多視角人臉圖像生成方法，其特征在于：所述步驟C具體為：為了使重建圖像更加逼真，將特征向量z和對應(yīng)的視角標(biāo)簽向量輸入到生成器G生成重建圖像即然后將和輸入判別器D_img,通過下式訓(xùn)練G和D_img:

另外，使用L1損失衡量輸入圖像x與重建圖像的差距：