[發明專利]基于人臉關鍵點校正的人臉檢測識別方法及裝置

有效

• 申請號: 201811550969.0
• 申請日: 2018-12-18
• 公開（公告）號: CN109800648B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 張紅武;舒劍軍
• 申請（專利權）人: 北京英索科技發展有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京庚致知識產權代理事務所(特殊普通合伙) 11807
• 代理人: 韓德凱

1.一種基于人臉關鍵點校正的人臉檢測識別方法，其特征在于，所述方法包括模型訓練和模型使用兩部分，

所述模型訓練包括：

1)獲取人臉圖像，所述人臉圖像為多張不同角度的人臉圖像；

2)對于獲取的所述人臉圖像，采用人臉關鍵點檢測器對人臉關鍵點位置進行檢測，得到人臉關鍵點位置坐標作為訓練標簽數據；所述人臉關鍵點位置坐標為N個；

3)將所述人臉圖像與所述人臉關鍵點位置坐標輸入到檢測校正網絡，所述檢測校正網絡為第一級卷積神經網絡，得到檢測部分模型；

4)將所述人臉圖像進行校正裁剪；

5)將所述校正裁剪后的人臉圖像輸入識別網絡，所述識別網絡為第二級卷積神經網絡，得到識別部分模型；

其中，所述步驟2)還包括：所述N個人臉關鍵點位置坐標作為標簽信息，與人臉圖像同時輸入所述第一級卷積神經網絡，進行第一級卷積神經網絡的訓練，此時對于每幅人臉圖像，得到N個二維標簽；

其中，所述步驟3)還包括：將訓練集人臉圖像與人臉關鍵點位置坐標輸入到所述第一級卷積神經網絡進行計算，并在最后一層全連接層后，附加N個二維全連接輸出層，分別對各個人臉關鍵點位置坐標(x，y)進行第一損失函數值計算，并采用隨機梯度下降算法，優化第一損失函數，對參數進行更新，待第一損失函數值收斂到預定值，結束訓練得到檢測部分模型；

其中，所述第一損失函數為N個人臉關鍵點位置坐標預測值與標簽真實值歐式距離之和，其計算公式為：

其中，Loss1為第一損失函數，N代表每幅圖像人臉關鍵點個數，代表第i個關鍵點x坐標預測值，代表第i個關鍵點x坐標真實值，代表第i個關鍵點y坐標預測值，代表第i個關鍵點y坐標真實值；

根據第一損失函數判斷網絡是否收斂，若否，則調整網絡參數值，若是，則結束訓練，模型訓練完成；

其中，所述步驟5)還包括：將人臉圖像輸入第二級卷積神經網絡，并在最后一層增加M維輸出層，使用softmax激活函數對輸出進行one-hot編碼處理，所述one-hot編碼處理即將各維度預測輸出數值轉化該維度概率值，計算第二損失函數值，并使用隨機梯度下降算法，優化第二損失函數，對所述第二級神經網絡參數進行調整，待第二損失函數值收斂到預定值，結束訓練得到識別部分模型；

輸入第二級卷積神經網絡訓練的人臉圖像，包含圖像增強；

所述softmax激活函數公式為：

其中，S_i代表了當前維經softmax激活函數計算后的值，V_i代表當前維輸出數值，代表全部維數值指數冪之和；即經過one-hot編碼處理后得到了各維度預測輸出的正確概率；

訓練圖像輸入第二級卷積神經網絡進行訓練，并進行第二損失函數計算，第二損失函數采用交叉熵，其計算公式為：

其中，Loss2為第二損失函數；

根據第二損失函數判斷網絡是否收斂，若否，則調整網絡參數值，若是，則結束訓練，模型訓練完成；

所述模型使用包括：

步驟S21，將待測人臉圖像輸入已訓練好的第一級卷積神經網絡，經過計算后在最后多個全連接層得到N個關鍵點位置坐標；

步驟S22，對于每幅圖像上所預測的N個人臉關鍵點位置坐標，采用如下公式計算其各點之間歐氏距離：

其中，D為歐氏距離，(x_i,y_i)為第i個人臉關鍵點位置坐標，(x_i+1,y_i+1)為第i+1個人臉關鍵點位置坐標；采用歐式距離能夠準確衡量人臉圖像的各關鍵點之間的相互位置關系；

通過各關鍵點之間的相互位置關系，對圖像進行人臉部分裁剪，并旋轉校正，得到校正裁剪后的人臉圖像；

步驟S23，將所述校正裁剪后的人臉圖像輸入所述訓練好的第二級卷積神經網絡，經神經網絡進行卷積計算后，在分類層得到M維特征向量，取其概率值最高維序數所對應的類別，即為人臉識別結果。