[發明專利]一種基于級聯神經網絡的人臉關鍵點檢測方法

在審

• 申請號: 201410053321.8
• 申請日: 2014-02-17
• 公開（公告）號: CN103824049A
• 公開（公告）日: 2014-05-28
• 發明（設計）人: 姜宇寧;印奇;曹志敏
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/66;G06N3/02
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 余長江

1.一種基于級聯神經網絡的人臉關鍵點檢測方法，其步驟包括：

a)建立訓練用人臉圖像集，對其中每一張人臉標注需要檢測的關鍵點位置；

b)構建第一層深度神經網絡并訓練人臉區域估計模型，此模型中任一張人臉被分為內臉區域與外臉區域兩部分；

c)構建第二層深度神經網絡，對步驟b)中輸出的內臉區域和外臉區域分別做獨立的人臉關鍵點初步檢測；

d)根據步驟c)的初步檢測結果，對內臉區域繼續做局部區域劃分；

e)對步驟d)得到的每個局部區域分別構建第三層深度神經網絡，用來訓練針對該局部區域的人臉關鍵點檢測器；

f)根據步驟e)的人臉關鍵點檢測器的關鍵點輸出結果，對每個局部區域估計其旋轉角度；

g)將每個局部區域按照其估計的旋轉角度做矯正，將矯正的圖片收集作為新的訓練集合；

h)對步驟g)中生成的每個局部區域的矯正數據集構建第四層深度神經網絡，用來訓練人臉關鍵點檢測器；

i)任給一張新的人臉圖像，采用經過上述步驟生成的四層深度神經網絡模型進行關鍵點檢測，并將最終生成的內臉區域、外臉區域、及各個局部區域的關鍵點結合輸出，即為最終人臉關鍵點檢測結果。

2.如權利要求1所述的方法，其特征在于：步驟b）所述內臉區域包括眉、眼、鼻、嘴，所述外臉區域包括完整人臉輪廓。

3.如權利要求1所述的方法，其特征在于：步驟d）對內臉區域做局部區域劃分時，劃分成為眉、眼、鼻、嘴四個局部區域。

4.如權利要求1所述的方法，其特征在于：每一層深度神經網絡內部由三部分組成：卷積層，最大采樣層及全連接層，對輸入圖像做多輪的卷積和采樣，最終經過全連接層輸出人臉區域或人臉關鍵點的坐標。

5.如權利要求1所述的方法，其特征在于：步驟f)對每個局部區域采用最小二乘法估計其旋轉角度：

M=argminΣXi||X′i-MXi||,]]>

其中M為旋轉矩陣，X’_i為對正模版的關鍵點坐標，X_i為步驟e)中獲得的關鍵點坐標。

6.如權利要求5所述的方法，其特征在于：步驟g)將每個局部區域按照其估計的旋轉角度做矯正的方法為：

X‾=MX,]]>

其中為矯正后的對正區域，M為步驟f)估計的旋轉矩陣，X為原始區域。