[發明專利]一種基于端到端循環網絡的面部特征點定位方法

有效

• 申請號: 201710120005.1
• 申請日: 2017-03-02
• 公開（公告）號: CN106803084B
• 公開（公告）日: 2020-08-07
• 發明（設計）人: 何振梁;闞美娜;張杰;山世光
• 申請（專利權）人: 中科視拓（北京）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于端到端循環網絡的面部特征點定位方法，其特征在于，包括以下步驟：

(1)數據準備階段

(1.1)對RGB圖像集合中的每一張人臉進行人工面部特征點標注：將所有n個特征點標注記為Sg＝{Lg_1,Lg_2,…,Lg_n}，其中Lg_i＝(xg_i,yg_i)表示第i個面部特征點在圖像中的坐標；

(1.2)將標注完成的圖像集合通過人臉檢測器以獲得每一張圖像中的人臉位置，位置信息為：左上角坐標(x_min,y_min)以及右下角坐標(x_max,y_max)；

然后利用左上角以及右下角坐標所形成的矩形區域裁剪出人臉圖像，最終獲得的N張人臉圖像P及其對應的標注Sg，該N個樣本組成的集合記為D＝{(P_1,Sg_1),(P_2,Sg_2),…,(P_N,Sg_N)}；

(2)模型設計階段，端到端的模型設計如下：

(2.1)將整體模型記為M，由兩部分組成，分別為深度卷積神經網絡A和循環神經網絡B，模型輸入為人臉圖像P，人臉圖像邊長為d；

(2.2)對輸入的人臉圖像P，利用深度卷積神經網絡A進行特征點向量回歸，回歸目標為S0＝{L0_1,L0_2,…,L0_n}，其中L0_j＝(x0_j,y0_j)表示第j個面部特征點在圖像上的坐標；

(2.3)取出網絡A某個卷積層輸出的深度特征圖并記為F，其邊長記為fd；

(2.4)繼承步驟(2.3)中的深度特征圖F并嵌入形狀信息St＝{Lt_1,Lt_2,…,Lt_n}，第一次使用的形狀信息為S0：以其中一個特征點Lt_i＝(xt_i,yt_i)為例，計算該特征點在特征圖F處對應的坐標L’t_i＝(xt_i*fd/d,yt_i*fd/d)，然后在特征圖F上以L’t_i為中心獲取區域大小為k*k的特征塊，并將L’t_1,L’t_2,…,L’t_m對應的m個特征塊按列或按行拼接為一個新的特征圖，稱該新特征圖為內嵌形狀信息的深度特征SFt；

(2.5)將步驟(2.4)獲得的內嵌形狀信息的深度特征SFt輸入到循環神經網絡B以回歸面部特征點更新量ΔSt＝{ΔLt_1,ΔLt_2,…,ΔLt_n}，其中ΔLt_i＝(Δxt_i,Δyt_i)表示第i個面部特征點的位置更新量，利用ΔSt對St進行更新優化并獲得更加精準的面部特征點位置St+1＝St+ΔSt；

(2.6)重復步驟(2.4)、(2.5)T次以獲得足夠精準的面部特征點定位ST；

(2.7)將以上步驟統一到一個整體的端到端的深度神經網絡框架中，進行端到端的模型訓練；

(3)模型訓練階段

(3.1)將步驟(1.2)獲得的帶有面部特征點標注的人臉圖像集合D分為訓練集U和校驗集V；

(3.2)將訓練集U輸入到步驟2設計的端到端的模型M中利用批次隨機梯度下降方法進行模型訓練，導出信號為特征點標注Sg＝{Lg_1,Lg_2,…,Lg_n}；利用校驗集V驗證模型訓練效果，即當模型在校驗集V上獲得較好的面部特征點定位精度并且該精度不能隨著訓練過程再提升時，停止訓練；

(3.3)最終訓練完成獲得模型M’；

(4)模型測試階段

(4.1)輸入圖像為包含人臉的圖像I；

(4.2)將圖像I輸入人臉檢測器并獲得人臉位置，并利用該人臉位置裁剪圖像I獲得人臉圖像P；

(4.3)將人臉圖像P輸入步驟3.3獲得的模型M’中以得到該人臉的面部特征點定位結果。

2.根據權利要求1所述的基于端到端循環網絡的面部特征點定位方法，其特征在于：所述步驟(2.4)中內嵌形狀信息的深度特征是通過繼承神經網絡特征層的特征并嵌入形狀相關信息而得到。

3.根據權利要求1或2所述的基于端到端循環網絡的面部特征點定位方法，其特征在于：所述內嵌形狀信息的深度特征可以輸入到循環神經網絡進一步優化特征點定位結果。