[發明專利]人臉特征點定位方法

在審

• 申請號: 201911316378.1
• 申請日: 2019-12-19
• 公開（公告）號: CN111079659A
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 謝建
• 申請（專利權）人: 武漢水象電子科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06F9/448
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 秦曼妮

1.一種人臉特征點定位方法，其特征在于，包括以下步驟：

(1)設計用于檢測人臉特征點的神經網絡；

(2)以多張人臉圖片以及對應的特征點坐標作為訓練數據，對訓練數據進行預處理；

(3)使用預處理之后的訓練數據訓練神經網絡；

(4)使用神經網絡部署框架將訓練好的神經網絡進行格式轉換；

(5)使用C++代碼將格式轉換后的神經網絡封裝為函數接口；

(6)在移動端應用程序中調用步驟(5)中封裝好的函數接口對待測圖像進行人臉檢測，算出人臉特征點的坐標。

2.如權利要求1所述的人臉特征點定位方法，其特征在于，所述步驟(2)中對訓練數據進行預處理具體包括：

(2.1)將訓練數據中的所有人臉圖片以及對應的特征點坐標矯正到接近正臉的位置，讓每個人臉的翻滾角為0，得到網絡輸入圖片Fimg和對應的關鍵點P1，將P1作為標注形狀；

(2.2))取出一對人臉以及與之對應的關鍵點，將一個人臉的關鍵點數據做一定的隨機變換得到隨機變換后的關鍵點P2，這樣每張人臉就有兩個對應的關鍵點信息(P1,P2)，其中P1對應原始標注關鍵點，P2為P1經過隨機變換后的關鍵點，將P2作為初始形狀。

3.如權利要求2所述的人臉特征點定位方法，其特征在于，所述步驟(2)還包括：

(2.3)將人臉圖片上的特征點坐標(P1,P2)進行歸一化處理，對特征點坐標(x,y)進行以下變換

x'＝x/w

y'＝y/h

其中，w為人臉圖片的寬度，h為人臉圖片的高度，(x，y)為變換前的圖片特征點的坐標，(x'，y')為變換后的歸一化坐標。

4.如權利要求3所述的人臉特征點定位方法，其特征在于，所述步驟(3)具體包括：

(3.1)將原始網絡輸入圖片Fimg和P2作為網絡輸入，P1作為網絡的監督信號，將網絡輸出與P1的歐式距離作為訓練誤差，用以計算網絡反饋梯度；

(3.2)設置訓練次數，保持神經網絡的結構不變，對神經網絡進行多次迭代訓練；

(3.3)在測試數據集上測試不同的參數，通過預測出的特征點和真實特征點之間的歐幾里得距離衡量測試誤差，選取測試誤差最小的一組參數作為最終的神經網絡參數。

5.如權利要求4所述的人臉特征點定位方法，其特征在于，所述步驟(5)具體包括：

(5.1)使用人臉檢測方法，檢測出人臉圖片中的人臉以及對應的多個人臉關鍵點，并根據這多個關鍵點計算人臉的角度；

(5.2)根據步驟(5.1)中的人臉以及多個關鍵點，將人臉矯正到翻滾角為0，得到Fimg；

(5.3)如果是圖片或者視頻第一幀，將訓練集的平均人臉的關鍵點作為P2；如果是視頻的非第一幀，則將上一幀人臉關鍵點作為P2；然后將P2按照步驟(5.1)中計算的結果將P2矯正為翻滾角為0，得到P2’；將人臉圖片Fimg以及P2’作為網絡輸入；

(5.4)使用神經網絡部署框架的函數調用神經網絡，計算出人臉圖片的歸一化坐標；

(5.5)對計算出的人臉圖片歸一化坐標進行變換，并返回變換后的坐標，變換公式為：

x＝x'*w

y＝y'*h

其中，w為人臉圖片的寬度，h為人臉圖片的高度，(x'，y')為變換前的歸一化坐標，(x，y)為變換后的圖片特征點的坐標；

(5.6)將所有關鍵點根據步驟(5.1)中計算出來的翻滾角做反變換，映射到原始圖像，即可得到原始人臉對應的關鍵點。

6.如權利要求1所述的人臉特征點定位方法，其特征在于：所述步驟(1)中的神經網絡使用神經網絡框架Caffe或PyTorch或Tensorflow或MxNe來設計。

7.如權利要求1所述的人臉特征點定位方法，其特征在于：所述步驟(4)中使用的神經網絡部署框架為ncnn或TensorflowLite或TVM。