[發明專利]基于非受限采集場景的人臉矯正方法

有效

• 申請號: 201810874734.0
• 申請日: 2018-08-03
• 公開（公告）號: CN109087261B
• 公開（公告）日: 2020-08-18
• 發明（設計）人: 張至先;陳遠浩;孔屹平;曹漢卿
• 申請（專利權）人: 上海依圖網絡科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/00;G06K9/00;G06K9/62
• 代理公司: 上海華誠知識產權代理有限公司 31300
• 代理人: 徐穎聰

本發明涉及一種基于非受限采集場景的人臉矯正方法，包括：人臉姿態估計，二維人臉關鍵點定位，三維人臉關鍵點定位，以及三維矯正的步驟，最終得到矯正后的二維圖像。與現有技術相比，本發明能夠有效的提高非受限場景下采集的人臉的矯正效果。

技術領域

本發明涉及一種基于非受限采集場景的人臉矯正方法。

背景技術

如今，計算機視覺人臉技術已經在安防、金融、互聯網等多個領域發揮重要的作用。人臉矯正作為計算機視覺中的一項關鍵技術也得到長足發展，一般來說，人臉矯正技術，是基于一張有一定姿態角度的人臉原始圖像，在經過人臉檢測的預處理之后，得到了畫面中人的人臉檢測框作為輸入，經過矯正處理后，輸出一張經過矯正后的人臉圖像，在盡量保留原始人臉特點信息，并且避免失真的前提下，將人臉矯正為正臉。

現有的人臉矯正技術有三種方式，最簡單的是通過人臉關鍵點和一張標準正臉進行匹配，然后通過相似變換，縮放并旋轉到標準正臉上，這樣的做法可以解決人臉面內旋轉的矯正問題，但無法解決面外旋轉問題(包括X方向的低抬頭和Y方向的左右側臉)。第二種是基于人臉模板庫匹配的做法，即通過收集多個人的正臉和各個角度的側臉，并標注關鍵點信息，建立人臉模板庫，在進行矯正的時候將輸入人臉匹配到最接近的一張側臉，然后將模板庫中相同人的正臉作為矯正目標，通過三角面片變化進行矯正，這種做法理論上是可以解決面外旋轉問題，但解決的效果依賴于模板庫中的人數和模板數量，在模板數量偏小的時候容易無法匹配到和目標人臉相近的模板，導致最后矯正出現失真。最后一種是通過恢復輸入圖像三維人臉信息，通過三維空間變換的方式進行矯正。這個方式也對于恢復出來的三維信息有較高準確度的要求，直接影響了最終矯正成像的質量。后兩種做法主要是基于受限采集場景的數據，對于非受限場景的人臉矯正存在較大缺陷。

所謂受限采集場景，是指人臉采集方和被采集方有一定交互，被采集方在配合采集的情況下，在采集方的指導下調整位置、姿態、表情完成采集，典型的包括拍攝人像照片，使用手機APP進行自拍或者視頻錄制等。這種采集得到的人臉圖像質量較好，具體表現在：人臉清晰，無模糊，噪點；在圖像中大小位置基本確定；人臉角度偏小，沒有明顯的側臉和低抬頭現象；無遮擋問題。

而非受限采集場景包括治安監控攝像頭，互聯網視頻等，往往采集方不在現場，通過設備進行遠程采集。而被采集方往往不會意識到采集的發生，也不會進行相應的配合和調整。在非受限場景下，采集得到人臉有如下問題：人臉在畫面中的大小，位置不固定；人臉角度不固定，會出現相當比例的明顯側臉，低頭，抬頭情況；人臉會有一定比例出現部分遮擋的情況；人臉會有一定比例出現模糊的情況。

上文中提到的人臉矯正方法，在處理非受限采集的人臉會有明顯的問題，尤其是在出現部分遮擋和大角度側臉、低抬頭的時候，會出現明顯的矯正失真的情況。

發明內容

本發明的目的在于提供一種基于非受限采集場景的人臉矯正方案，改善非受限采集時的矯正效果。

本發明的第一方面提供了一種基于非受限采集場景的人臉矯正方法，包括：

人臉姿態估計，將人臉姿態分為N類，采用帶有姿態標注的人臉來訓練姿態估計模型，接收人臉圖像并將人臉圖像輸入姿態估計模型中，得到人臉的姿態信息；

二維人臉關鍵點定位，按照人臉姿態的分類，采用標注有多個關鍵點的人臉來分別訓練N個二維關鍵點定位模型，N個二維關鍵點定位模型分別與N類姿態相對應；利用姿態信息從N個二維關鍵點定位模型中選擇與人臉圖像中的人臉姿態一致的模型，將人臉圖像輸入二維關鍵點定位模型，得到多個關鍵點在人臉圖像上的位置信息；

三維人臉關鍵點定位，訓練三維關鍵點定位模型，將姿態信息和多個關鍵點在人臉圖像上的位置信息輸入三維關鍵點定位模型，得到多個關鍵點在三維空間中的位置信息，通過線性變換，對三維坐標進行矯正使得人臉處于三維空間中的預設位置并具有固定的大小和角度；以及