[發明專利]一種基于3D旋轉建模的無監督人臉轉正方法

在審

• 申請號: 202111467193.8
• 申請日: 2021-12-03
• 公開（公告）號: CN114283265A
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 丁文銳;宋新宇;姜亞龍;謝宛吟
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T19/20
• 分類號: G06T19/20;G06T17/00;G06V20/64;G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 周長琪

1.一種基于3D旋轉建模的無監督人臉轉正方法，其特征在于：具體步驟為：

步驟1：構建人臉關鍵點3D模型；

101、提取人臉圖像2D關鍵點；

使用人臉關鍵點檢測器得到目標側臉圖像和另一身份正臉圖像的面部關鍵點2D坐標；

102、深度預測，得到關鍵點3D坐標；

將兩張圖像的面部關鍵點2D坐標輸入Depth網絡，預測每一個關鍵點的深度，得到關鍵點的3D坐標；

103、線性最小二乘得到仿射變換參數；

通過從另一身份正臉圖像和目標側臉圖像的關鍵點3D坐標學習從側臉到正臉的仿射變換參數。

104、根據仿射變換參數旋轉關鍵點3D模型；

步驟2：搭建正臉生成網絡；

201、將側臉圖像，側臉圖像關鍵點3D坐標，正臉圖像關鍵點3D坐標輸入GAN模型中，生成正臉圖像；

202、將目標生成的正臉圖像通過3DMM模型進行3D擬合補充3D模型的紋理信息；

203、將3D人臉模型旋轉原側臉角度在2D平面投影得到與輸入相同角度的側臉圖像，與輸入進行對比得到逐像素損失L_p，將L_p引入GAN中使生成的正臉圖像更加真實。

2.如權利要求1所述一種基于3D旋轉建模的無監督人臉轉正方法，其特征在于：步驟1中，面部關鍵點包括表示人臉外部輪廓關鍵點，表示左眉毛關鍵點，表示右眉毛關鍵點，表示鼻梁關鍵點，表示鼻孔關鍵點，表示左眼關鍵點，表示右眼關鍵點，表示嘴唇外側關鍵點，表示嘴唇內側關鍵點。

3.如權利要求1所述一種基于3D旋轉建模的無監督人臉轉正方法，其特征在于：步驟1中，DepthNet網絡由3個卷積層、3個池化層、4個全連接層構成，輸入經多層卷積，多層池化，多層全連接輸出面部關鍵點深度值，深度預測網絡預先通過AFLW2000-3D數據集進行訓練，訓練過程表示為z＝Depth(x,y),其中，Depth表示深度預測網絡，(x,y)表示面部關鍵點2D坐標，z表示預測得到的關鍵點深度坐標，不斷縮小真實關鍵點深度坐標z_T和預測深度z之間的差值，更新網絡權重，得到進行深度預測的網絡。

4.如權利要求1所述一種基于3D旋轉建模的無監督人臉轉正方法，其特征在于：步驟201中，GAN網絡由生成器G和判別器構成；其中，生成器由向下采樣的編碼器和向上采樣的解碼器組成，生成器的輸入為目標正臉圖像關鍵點3D坐標矩陣，目標側臉圖像，目標側臉圖像關鍵點3D坐標矩陣，輸出為目標正臉圖像；生成器生成的目標正臉圖像經3D擬合、旋轉投影后得到生成的目標側臉圖像，與輸入的目標側臉圖像一同輸入判別器，由判別器判別兩者間的真實圖像與生成圖像；通過不斷訓練優化，使得判別器難以區分真實圖像與生成圖像，此時GAN網絡達到了收斂的效果。