[發明專利]人臉特征點定位方法

在審

• 申請號: 201911316378.1
• 申請日: 2019-12-19
• 公開（公告）號: CN111079659A
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 謝建
• 申請（專利權）人: 武漢水象電子科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06F9/448
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 秦曼妮

本發明提供了一種人臉特征點定位方法，包括以下步驟：(1)設計用于檢測人臉特征點的神經網絡；(2)以多張人臉圖片以及對應的特征點坐標作為訓練數據，對訓練數據進行預處理；(3)使用預處理之后的訓練數據訓練神經網絡；(4)使用神經網絡部署框架將訓練好的神經網絡進行格式轉換；(5)使用C++代碼將格式轉換后的神經網絡封裝為函數接口；(6)在移動端應用程序中調用步驟(5)中封裝好的函數接口對待測圖像進行人臉檢測，算出人臉特征點的坐標。本發明可以解決現有Dlib人臉特征點檢測算法在移動端的速度慢、不夠準確的問題，以及在處理視頻流中不穩定、有抖動的問題。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種人臉特征點定位方法。

背景技術

隨著計算機硬件和互聯網大數據技術的發展，使得深度神經網絡的訓練成為可能，同時移動互聯網的興起使得移動端應用市場火熱。移動端人臉美妝應用軟件備受廣大移動端用戶青睞，而目前美妝應用依賴人臉特征點的準確定位，通過對人臉特征點的定位，可以獲取人臉五官的坐標、形狀、尺寸，從而可以通過軟件調節亮度、顏色以達到化妝的效果。

一個名為Dlib的C++開源機器學習算法庫中實現了人臉特征點檢測算法。Dlib使用一種基于回歸樹的人臉對齊算法，這種方法通過建立一個梯度增強決策樹(GBDT)來使人臉特征點位置從當前位置一步步回歸到真實位置。每一個GBDT的每一個葉子節點都存儲著一個殘差回歸量，當輸入落到一個節點時，就將殘差加到輸入上，起到回歸的目的，最終將所有殘差疊加在一起，就完成了人臉特征點定位的目的。但現有的Dlib人臉特征點檢測算法在移動端的速度慢而且不夠準確，而且Dlib算法只支持檢測68特征點，處理視頻流會有較大的幀間抖動問題。

發明內容

本發明的目的在于提供一種人臉特征點定位方法，旨在用于解決現有的Dlib人臉特征點檢測算法在移動端的速度慢、不夠準確的問題。

本發明是這樣實現的：

本發明提供一種人臉特征點定位方法，包括以下步驟：

(1)設計用于檢測人臉特征點的神經網絡；

(2)以多張人臉圖片以及對應的特征點坐標作為訓練數據，對訓練數據進行預處理；

(3)使用預處理之后的訓練數據訓練神經網絡；

(4)使用神經網絡部署框架將訓練好的神經網絡進行格式轉換；

(5)使用C++代碼將格式轉換后的神經網絡封裝為函數接口；

(6)在移動端應用程序中調用步驟(5)中封裝好的函數接口對待測圖像進行人臉檢測，算出人臉特征點的坐標。

進一步地，所述步驟(2)中對訓練數據進行預處理具體包括：

(2.1)將訓練數據中的所有人臉圖片以及對應的特征點坐標矯正到接近正臉的位置，讓每個人臉的翻滾角為0，得到網絡輸入圖片Fimg和對應的關鍵點P1，將P1作為標注形狀；

(2.2))取出一對人臉以及與之對應的關鍵點，將一個人臉的關鍵點數據做一定的隨機變換得到隨機變換后的關鍵點P2，這樣每張人臉就有兩個對應的關鍵點信息(P1,P2)，其中P1對應原始標注關鍵點，P2為P1經過隨機變換后的關鍵點，將P2作為初始形狀；

進一步地，所述步驟(2)還包括：

(2.3)將人臉圖片上的特征點坐標(P1,P2)進行歸一化處理，對特征點坐標(x,y)進行以下變換

x'＝x/w

y'＝y/h

其中，w為人臉圖片的寬度，h為人臉圖片的高度，(x，y)為變換前的圖片特征點的坐標，(x'，y')為變換后的歸一化坐標。