[發明專利]一種基于正投影特征變換的俯視人臉矯正方法

有效

• 申請號: 201910285207.0
• 申請日: 2019-04-10
• 公開（公告）號: CN110059602B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 王中元;王南西;梁超;傅佑銘
• 申請（專利權）人: 武漢大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/52;G06K9/62
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魏波

本發明公開了一種基于正投影特征變換的俯視人臉矯正方法，結合生成對抗網絡(GAN)的思想，通過正投影特征變換(OFT)將俯視角度下的人臉轉換成正臉。先利用OFT替代生成對抗網絡中的生成器來生成假臉，為了將正臉分布的先驗知識結合到訓練過程中，再利用鑒別器來區分真實正面臉與合成正面臉，通過交替訓練方式優化正投影特征變換網絡的參數，使得最終產生更精確的正面人臉圖像。本發明方法有效克服了現有多姿態人臉矯正方法對缺乏左右對稱性可利用的俯角人臉效果差的局限，為公共視頻監控環境下普遍存在的俯角人臉辨識提供了新的思路。

技術領域

本發明屬于計算機視覺技術領域，涉及一種監控視頻的俯視角度人臉矯正方法，具體涉及一種基于正投影特征變換的俯視角度人臉矯正方法。

技術背景

監控視頻中的人臉識別是確認嫌疑目標身份的重要手段。由于公共視頻監控場合的監控攝像頭一般安裝在高處(通常3.5米高)，當目標接近攝像頭時，拍攝的往往是俯視角度的人臉。俯視人臉存在嚴重的額頭遮擋人臉下半部的自遮擋現象，極端情況下甚至只能看到頭部。因此，俯角人臉姿態給后續的人臉檢測和識別等任務帶來巨大障礙。

人臉姿態的矯正問題已經得到廣泛研究，研究最多的是側面臉的轉正。目前表現最好的是基于生成對抗網絡(GAN)的方法，如TP-GAN、DR-GAN等方法。側面臉的校正通常利用了人臉的左右對稱性，利用顯現的半邊臉來“猜測”遮擋的另一半。但是，俯角人臉的遮擋部分由于缺乏左右對稱性的知識，比側面臉的矯正更為困難，而直接照搬側面姿態的人臉矯正方法效果又極其有限。

正投影特征變換(OFT)的方法能夠將不同尺度的特征圖，映射到3D空間中得到正交特征映射，再通過折疊體素特征產生正交平面特征，完成特征圖像的度角轉變。最后將正投影特征變換后的特征圖像通過自頂向下網絡，生成矯正后的正臉圖片。利用這種原理，可以有效利用人臉深度信息、上半張臉信息及先驗知識，生成更加自然的正面人臉圖像。

發明內容

本發明結合側臉矯正的GAN網絡及正投影特征變換算法提出一個適合俯角人臉矯正的方法。將正投影特征變換引入生成對抗網絡的生成器，對原始俯角人臉圖像進行正交特征映射，合成正面臉圖像；同時利用鑒別器來區分真實正面圖像與合成正面圖像，通過交替訓練優化正投影特征變換網絡。

本發明所采用的技術方案是：一種基于正投影特征變換的俯視人臉矯正方法，其特征在于，包括以下步驟：

步驟1：利用正投影特征變換網絡對俯視人臉進行矯正，得到矯正后的正臉圖像；

步驟1.1：將俯視角度下的人臉圖像輸入一個前端ResNet-18網絡的特征提取器，提取多尺度特征圖。

步驟1.2：對不同尺度的特征圖進行正交特征變換，將俯視角度的人臉圖像轉換為平視角度下的人臉圖像。

步驟1.3：通過由一系列ResNet單元組成的自頂向下網絡，對正投影特征變換后的特征圖進行處理，將網絡最后一層的輸出設置為3通道輸出，生成RGB圖像，即矯正后的正臉圖片。

步驟2：將步驟1中的“矯正后的正臉圖像”與真實正臉進行對抗訓練，優化正投影特征變換網絡，最終產生更精確的正面人臉圖像；

步驟2.1：引入鑒別器D來區分真實正面圖像與步驟1中的“矯正后的正臉圖像”；

步驟2.2：利用步驟1中的“矯正后的正臉圖像”和真實正面圖像進行訓練，設置合理閾值，若步驟1中的“矯正后的正臉圖像”與真實圖像的差大于閾值，則反向傳播調節正投影特征變換網絡參數；其中，參數包括ResNet單元的權重和偏置，調節方法采用深度學習的隨機梯度下降方法；

步驟2.3：重復步驟2.2，迭代優化正投影特征變換網絡的參數，直到訓練過程收斂，獲得優化正投影特征變換網絡。

與現有的側臉矯正方法相比，本發明具有以下的優點與積極效果：