[發明專利]一種基于端到端循環網絡的面部特征點定位方法

有效

• 申請號: 201710120005.1
• 申請日: 2017-03-02
• 公開（公告）號: CN106803084B
• 公開（公告）日: 2020-08-07
• 發明（設計）人: 何振梁;闞美娜;張杰;山世光
• 申請（專利權）人: 中科視拓（北京）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于端到端循環網絡的面部特征點定位方法，包括以下步驟：(1)數據準備階段、(2)端到端的模型設計階段、(3)模型訓練階段、(4)模型測試，以得到該人臉的面部特征點定位結果的階段。本發明將內嵌形狀信息的深度特征與循環神經網絡配合使用，極大地提高了面部特征點定位的精度。此外，本發明使用繼承的神經網絡特征，模型計算量將會極大減少，在保持較好的面部特征定位精度的條件下，能夠達到超實時的面部特征點定位速度。

技術領域

本發明涉及一種定位方法，尤其涉及一種基于端到端循環網絡的面部特征點定位方法。

背景技術

面部特征點定位的主要目標是根據輸入的人臉自動定位出面部的關鍵特征點，比如眼睛、鼻子、嘴巴以及面部輪廓等。該技術廣泛應用于人臉識別、表情識別、人臉三維重建以及人臉動畫合成等。目前的面部特征點定位方法大多基于深度神經網絡框架。主要方法有：

1)基于級聯結構或模塊劃分的由粗到精的面部特征點定位。相關專利：CN105981041A、CN105868769A。其主要技術手段為：利用多級模型級聯并以粗到細的方式執行面部特征點定位，逐級精細化面部特征點的位置。問題和缺點：該類方法對大姿態人臉的面部特征點定位不魯棒，級聯或分模塊的框架對初始面部特征點的給定較為敏感，一旦初始面部特征點位置離目標位置較遠，最終特征點的定位將會離目標有較大偏差；其次，級聯的框架在訓練過程中比較容易進入較差的局部優化點而導致最終模型性能較差。

2)基于多角度的面部特征點定位方法。相關專利：CN105760836A。其主要技術手段為：將待檢測圖像輸入人臉角度模型進行人臉角度檢測，并調用相應角度的面部特征點定位模型進行面部特征點定位。問題和缺點：基于人臉角度的硬分類不一定是最合適面部特征點定位任務的分類方式，而且這種硬分類方法對處于類別邊界的樣本的面部特征點定位可能不魯棒。

發明內容

為了解決上述問題中的不足之處，本發明提供了一種基于端到端循環網絡的面部特征點定位方法。

為了解決以上技術問題，本發明采用的技術方案是：一種基于端到端循環網絡的面部特征點定位方法，包括以下步驟：

(1)數據準備階段

(1.1)對RGB圖像集合中的每一張人臉進行人工面部特征點標注：將所有n個特征點標注記為Sg＝{Lg_1,Lg_2,…,Lg_n}，其中Lg_i＝(xg_i,yg_i)表示第i個面部特征點在圖像中的坐標；

(1.2)將標注完成的圖像集合通過人臉檢測器以獲得每一張圖像中的人臉位置，位置信息為：左上角坐標(x_min,y_min)以及右下角坐標(x_max,y_max)；

然后利用左上角以及右下角坐標所形成的矩形區域裁剪出人臉圖像，最終獲得的N張人臉圖像P及其對應的標注Sg，該N個樣本組成的集合記為D＝{(P_1,Sg_1),(P_2,Sg_2),…,(P_N,Sg_N)}；

(2)模型設計階段，端到端的模型設計如下：

(2.1)將整體模型記為M，由兩部分組成，分別為深度卷積神經網絡A和循環神經網絡B，模型輸入為人臉圖像P，人臉圖像邊長為d；

(2.2)對輸入的人臉圖像P，利用深度卷積神經網絡A進行特征點向量回歸，回歸目標為S0＝{L0_1,L0_2,…,L0_n}，其中L0_j＝(x0_j,y0_j)表示第j個面部特征點在圖像上的坐標；

(2.3)取出網絡A某個卷積層輸出的深度特征圖并記為F，其邊長記為fd；