[發明專利]一種基于可學習形變場的人臉正面化方法

有效

• 申請號: 201710120029.7
• 申請日: 2017-03-02
• 公開（公告）號: CN106909904B
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 胡藍青;闞美娜;山世光;陳熙霖
• 申請（專利權）人: 中科視拓（北京）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于可學習形變場的人臉正面化方法，包括步驟1，獲取一批帶有姿態標注的圖片數據集作為訓練/測試集，每個人的圖像都包含有各個姿態；步驟2，由三維人臉模型大致計算出各個姿態之間圖片像素點的位置對應關系，得到每兩個角度圖像之間的大致形變場；步驟3，將得到的形變場作為訓練目標，得到模型參數W’；步驟4，通過使作用后的圖像和目標圖像盡量相像繼續優化模型W’的參數。本發明不僅能得到既平滑又恢復出更多細節的重構正面圖像，且訓練比基于3D模型生成形變場的方法簡單，耗時更少，能夠恢復出保留更多個人特征的圖像，對于識別更有幫助，特別是在大姿態角度的人臉上，識別率得到顯著提升。

技術領域

本發明涉及一種人臉正面化方法，尤其涉及一種基于可學習形變場的人臉正面化方法。

背景技術

隨著計算機視覺技術的發展，人臉識別在家庭娛樂、安防系統、視頻監控等領域得到廣泛應用。通用的場景下人臉會呈現不同的姿態：正臉，側臉。直接用正臉-側臉對進行識別會增加難度，因為正臉側臉之間的關系不是線性關系。為了借助更多信息進行識別，一般會采用先將需識別的圖像校正到同一個姿態(通常恢復到準正面)，再進行識別的方法。

現有主要方法有基于3D模型生成形變場的方法和基于2D圖像進行圖像回歸重構的方法。其中，基于3D模型生成形變場的方法主要根據人臉的3D模型對各個人臉姿態建模，計算出不同姿態圖像之間的像素點位移關系，即形變場，再將該形變場作用于2D的圖像，得到正面化的人臉圖像。基于2D圖像進行圖像回歸重構的方法則是直接將2D的正面人臉圖像作為目標進行優化，得到重構出的正面化圖像；

基于3D形變場的方法，雖然保留了更多原圖像的信息，但是恢復不出被遮擋部分的像素值，雖然可以用加權平均臉進行填補，但還原效果不夠好也不夠平滑；基于2D圖像進行圖像回歸重構的方法，雖然能夠恢復整張圖像也會較為平滑，但是會丟掉更多原圖像的細節。

發明內容

為了解決上述問題中的不足之處，本發明提供了一種基于可學習形變場的人臉正面化方法。

為了解決以上技術問題，本發明采用的技術方案是：一種基于可學習形變場的人臉正面化方法，包括以下步驟：

步驟1，獲取一批帶有姿態標注的圖片數據集作為訓練/測試集，每個人的圖像都包含有各個姿態；

步驟2，由三維人臉模型大致計算出各個姿態之間圖片像素點的位置對應關系，根據三維模型在二維平面上的投影圖像以及計算像素點的對應位移，得到每兩個角度圖像之間的大致形變場，由于側面角度的圖像不可避免的會有遮擋部分，可以用側面圖像上的已知的部分進行填補；

步驟3，將在步驟2中得到的形變場作為步驟3的訓練目標，由于訓練輸入圖像的姿態和目標圖像的姿態都是已知的，就可以將兩個姿態之間的形變場作為目標對模型進行預訓練，得到模型參數W’；

步驟4，將W’作為步驟4的模型參數的初始化值，將目標圖像的形變場作為訓練目標，該步驟將A輸出出來的形變場作用在輸入圖像上，從而得到一張特定姿態的圖像，通過使作用后的圖像和目標圖像盡量相像繼續優化模型的參數，以此將步驟3得到的模型參數W’進一步優化。

在步驟1中，將MultiPIE數據集作為訓練/測試集。

在步驟2中，將人臉姿態角度分為-90度到90度之間的每15度，然后根據三維模型在二維平面上的投影圖像以及計算像素點的對應位移，得到每兩個角度圖像之間的大致形變場。

本發明不僅能得到既平滑又恢復出更多細節的重構正面圖像，且訓練比基于3D模型生成形變場的方法簡單，耗時更少，能夠恢復出保留更多個人特征的圖像，對于識別更有幫助，特別是在大姿態角度的人臉上，識別率得到顯著提升。

附圖說明

下面結合附圖和具體實施方式對本發明作進一步詳細的說明。