[發明專利]一種基于深度多特征融合級聯回歸的人臉關鍵點定位方法

有效

• 申請號: 201811040656.0
• 申請日: 2018-09-07
• 公開（公告）號: CN109241910B
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 毛亮;朱婷婷;林煥凱;黃仝宇;汪剛;宋一兵;侯玉清;劉雙廣
• 申請（專利權）人: 高新興科技集團股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 廣州國鵬知識產權代理事務所(普通合伙) 44511
• 代理人: 寧尚國

1.一種基于深度多特征融合級聯回歸的人臉關鍵點定位方法，其特征在于，包括步驟：

(1)將深度網絡的多層特征進行融合通過回歸的方式來進行人臉關鍵點的初步定位；

(2)根據初步定位結果對其對應的人臉圖像進行校正，同時計算初步定位結果的熱力圖；

(3)將校正后的圖像和計算出的熱力圖合并后再次輸入到深度網絡中進行人臉關鍵點修正；

(4)根據實際預測精度決定是否再次進行人臉關鍵點修正；

所述步驟(1)中的初步定位包括步驟：

Step 1：準備訓練網絡所用的數據集；

Step 2：構建深度網絡模型，并利用預訓練好的網絡模型進行權重初始化；

Step 3：人臉關鍵點初步定位，網絡初始化完成后利用Step 1中準備好的數據進行深度網絡訓練，一直到網絡收斂為止；

其中所述的Step 1中，訓練數據格式為(Xi，Yi)，其中Xi表示圖像，Yi表示Xi對應的關鍵點集合，i＝1,2,…,M，M為訓練圖像數量；

所述的步驟(2)中包括步驟：

Step 4：人臉圖像校正；所述的Step 4中，首先，通過Step 3得到人臉關鍵點的初步位置然后，通過相似性變換計算與標準臉Y_S之間的相似性變換矩陣T_i，進而可以得到校正后的人臉圖像T_i(X_i)；

所述的步驟(2)中包括步驟：

Step 5：人臉關鍵點熱力圖計算；所述的Step 5中，首先計算所對應的校正后的人臉關鍵點然后通過下式計算所對應的熱力圖：

其中，

Ti：第i級的關鍵點校正矩陣，

Yi：第i級檢測出的關鍵點，

對i級檢測出的關鍵點進行校正后得到的關鍵點，

P：對第i級檢測出的關鍵點進行校正后得到的關鍵點，

Pxy：圖像的所有坐標點，

α：熱力圖數值調整系數，

β：熱力圖數值調整系數，

λ：熱力圖數值調整系數，

r：閾值，其值為圖像的寬度。

2.根據權利要求1所述的基于深度多特征融合級聯回歸的人臉關鍵點定位方法，其特征在于，在所述的Step 1中采用的數據集為人臉關鍵點定位領域的數據集300W比賽數據集。

3.根據權利要求1所述的基于深度多特征融合級聯回歸的人臉關鍵點定位方法，其特征在于，在所述的Step 3中，運用的監督函數是正則化后的歐氏損失，如下式所示：

其中，Y_ij分別表示第i張圖像的第j個預測及真實人臉關鍵點，d_i表示第i張圖像中兩眼的瞳孔距離，N表示關鍵點個數。

4.根據權利要求1所述的基于深度多特征融合級聯回歸的人臉關鍵點定位方法，其特征在于，標準臉Y_S取所有訓練數據集的平均值。

5.根據權利要求1所述的基于深度多特征融合級聯回歸的人臉關鍵點定位方法，其特征在于，所述的步驟(3)中包括：

Step 6：將Step 4和Step 5得到的校正后圖像及關鍵點熱力圖合并后，再次返回執行Step2和Step3進行人臉關鍵點修正。

6.根據權利要求1所述的基于深度多特征融合級聯回歸的人臉關鍵點定位方法，其特征在于，所述的步驟(4)中包括：

Setp 7：如果訓練誤差Error小于給定的閾值Threshod，則訓練結束；否則繼續重復Step 6直到訓練誤差小于給定閾值為止。