[發明專利]一種基于非配對圖像的多視角人臉圖像生成方法

有效

• 申請號: 202010204022.5
• 申請日: 2020-03-21
• 公開（公告）號: CN111445548B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 閔衛東;王帥;熊辛
• 申請（專利權）人: 南昌大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04;G06N3/08;G06V40/16
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 袁紅梅

本發明提供了一種基于非配對圖像的多視角人臉圖像生成方法，包括以下步驟：步驟A：訓練時，編碼器E將輸入的人臉圖像映射為身份表示z和視角表示判別器D_z迫使z服從均勻分布，判別器D_v迫使服從范疇分布；步驟B：使用半監督學習，通過最小化真實視角標簽v和對應預測的視角標簽的交叉熵，使視角表示更加準確；步驟C：生成器G利用和z重建圖像，重建圖像與真實圖像分別與連接后輸入判別器D_img進行相似性判斷；步驟D：測試時，使用訓練好的編碼器解開身份表示和視角表示，將多個代表視角的one?hot向量分別強加給身份表示，輸入訓練好的生成器生成多視角圖像，本發明在使用極少量視角標簽的情況下，生成了清晰真實的多視角人臉圖像。

技術領域

本發明涉及人臉圖像生成技術領域，具體為一種基于非配對圖像的多視角人臉圖像生成方法。

背景技術

多視角人臉圖像生成在無約束人臉識別和計算機圖形學等多個領域都有廣泛的應用。給定一張人臉圖像，讓計算機生成其在不同視角下的圖像，這是一個有趣但又有挑戰性的問題。

由單視圖生成的多視角圖像需要達到兩個要求：1)生成圖像要和輸入圖像保持同一身份；2)不同身份的同一視角應當一致。

解決這個問題的傳統方法分為兩類，基于3D人臉模型的方法和基于深度學習的方法。基于3D人臉模型的方法首先建立三維人臉模型作為參考，然后通過模型擬合，合成新角度的人臉圖像。Blanz et al.利用一個人臉數據庫構造出一個平均人臉形變模型，在給出新的人臉圖像后，將人臉圖像與模型進行匹配，修改模型相應的參數，直到擬合出人臉的新角度圖像。盡管這些3D方法是有效的，但合成的結果往往不太逼真。基于深度學習的方法通過訓練神經網絡使模型學習到輸入圖像的身份和視角的抽象表示，然后通過特征融合得到多視角圖像。Ghodrati et al.將一系列身份相同但姿態不同的人臉圖像和視角標簽輸入網絡，首先通過圖像編碼，屬性向量編碼，特征圖融合，圖像解碼得到多視角圖像，然后通過細化生成圖像使圖像更加清晰。Zhu et al.將同一身份的不同視角圖像輸入多視圖感知器，確定性隱藏神經元和隨機隱藏神經元分別用來學習身份特征和視圖表示，然后將學習到的不同的視圖表示與身份特征融合生成不同視角的圖像。這些基于卷積神經網絡和其他深度神經網絡的方法合成的人臉通常缺少精細的細節。

生成對抗網絡(GAN)基于決策理論和博弈論模擬數據分布，可以生成清晰真實的樣本，其在多視圖生成方面也取得了令人印象深刻的成果。基于GAN的方法在訓練時，通常需要將同一身份的不同視角圖像(x_i,x_j)輸入模型，首先在潛空間中解開身份表示和視角表示，然后將身份表示在另一視角標簽v_j的約束下輸入生成器，生成同一身份的另一種視圖進而訓練判別器以使其有能力區分和真實圖像x_j，這些模型在訓練過程中，不僅使用了視角標簽，還需要身份標簽。此外，為了使生成的圖像更加真實，TP-GAN和LB-GAN需要標注人臉圖像的眼睛,鼻子和嘴巴，通過訓練局部網絡，獲得局部紋理的特征張量。這些基于GAN的方法對數據集的采集和標注提出了極高的要求，需要耗費大量人力和時間。例如，為了收集Multi-PIE，使用了15個高質量攝像機和18個閃光燈組成的硬件同步網絡對337名受試者進行記錄，然后標注身份，光照，姿態和表情。

發明內容

本發明的目的在于提供一種基于非配對圖像的多視角人臉圖像生成方法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種基于非配對圖像的多視角人臉圖像生成方法，所述方法基于對抗自編碼器和生成對抗網絡，結構由編碼器、生成器和三個判別器構成，包括以下步驟：

步驟A：訓練時，編碼器E將輸入的人臉圖像分別映射為身份表示z和視角表示判別器D_z迫使z服從均勻分布，判別器D_v迫使服從范疇分布；