[發明專利]一種基于單個卷積神經網絡的面部多特征點定位方法

有效

• 申請號: 201710967121.7
• 申請日: 2017-10-17
• 公開（公告）號: CN107808129B
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 練智超;朱虹;李德強
• 申請（專利權）人: 南京理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 薛云燕

本發明公開了一種基于單個卷積神經網絡的面部特征點定位方法，方法為：擴充訓練樣本；根據數據集提供的與每個樣本對應的面部特征點坐標，確定人臉邊框；采用縮放、旋轉、平移和翻轉四種操作來擴充數據，彌補訓練圖像特征點標注的不足；根據人臉邊界框提取出人臉圖像，并進行歸一化處理；最后設計網絡結構，訓練網絡，設置網絡的學習率和每次處理數據的數量，完成面部多特征點的定位。本方法簡化了網絡結構，降低了訓練難度，該網絡結構可以提取更多的全局高級特征，更精確地表達面部特征點，在變化復雜的條件下對面部特征點的定位效果好，同時能實現面部多個特征點定位。

技術領域

本發明涉及生物識別領域，特別是一種基于單個卷積神經網絡的面部多特征點定位方法。

背景技術

面部特征點定位是計算機視覺中的重要問題，因為許多視覺任務依賴于準確的面部特征點定位結果，比如面部識別，面部表情分析，面部動畫等。雖然在這些年里被廣泛研究，并且取得了巨大的成功。但是，由于部分遮擋、光照、較大的頭部旋轉和夸張的表情變化等因素導致人臉圖像的復雜多樣性，面部特征點定位仍然面臨著巨大挑戰。卷積神經網絡已經被證明在提取特征和分類方面具有有效性，同時它也被證明針對遮擋具有魯棒性。

面部特征點定位方法大致分為兩類：傳統方法和基于深度學習的方法。典型的傳統方法包括基于模型的方法和基于回歸的方法?；谀Ｐ偷姆椒ㄔ诮o定平均初始形狀的情況下學習形狀增量。如主動形狀模型(ASM)和主動外觀模型(AAM)，采用統計模型如主成分分析(PCA)來分別捕獲形狀和外觀變化。然而，他們并不能獲得具有較大頭部姿態變化和夸張的面部表情等人臉圖像的精確形狀，因為單一的線性模型很難刻畫現實場景數據中的復雜非線性變化?；诨貧w的方法通過訓練外觀模型來預測關鍵點位置。Xiong等人通過在SIFT特征上應用線性回歸來預測形狀增量。Cao等人Burgos Artizzu等人使用像素強度差異作為特征順序學習了一系列隨機蕨回歸，并逐步退化了學習級聯的形狀。他們對所有參數同時進行回歸，從而有效地利用形狀約束。這些方法主要從初始的估計迭代地修改預測的特征點位置，因此最終結果高度依賴于初始化。

到目前為止，只有幾種基于深度學習的方法。Sun等人采用級聯CNN進行面部特征點定位的新方法。這種方法將臉分為不同的部分，每個部分分別由卷積神經網絡訓練。最后，它實現了5個特征點的定位，即：左右眼睛、鼻尖，左右嘴角。然而，由于級聯網絡的復雜性，檢測很慢；并且將人臉分成多個部分進行定位，忽略了人臉的整體性。Zhang等人訓練一個多任務學習(輔助屬性)的深層卷積網絡TCDCN。每個任務對應人臉圖像的一個屬性，例如姿態，微笑，性別等，這使得特征點定位具有魯棒性。結果表明，特征點定位的精度較高。然而，多任務學習對數據集的需求更高，并且不能重復復雜的訓練。

顯然，上述網絡的結構和訓練過程都非常復雜；其次現有的基于深度學習的方法大多是針對數目較少的特征點定位。當特征點的數目變多時，定位的準確性會變得愈加困難。

發明內容

本發明的目的在于提供一種基于單個卷積神經網絡的面部多特征點定位方法，以精確地表達面部特征點，在變化復雜的條件下仍然能夠對面部特征點進行高效定位，同時能實現面部多個特征點定位。

實現本發明目的的技術解決方案為：1、一種基于單個卷積神經網絡的面部多特征點定位方法，其特征在于，包括以下步驟：

步驟1、擴充訓練樣本；

步驟2、根據數據集提供的與每個樣本對應的面部特征點坐標，確定人臉邊框；

步驟3、采用縮放、旋轉、平移和翻轉四種操作來擴充數據，彌補訓練圖像特征點標注的不足；

步驟4、根據人臉邊界框提取出人臉圖像，并進行歸一化處理；

步驟5、設計網絡結構；

步驟6、訓練網絡，設置網絡的學習率和每次處理數據的數量，完成面部多特征點的定位。