[發(fā)明專利]人臉的關(guān)鍵點(diǎn)定位方法和裝置、存儲(chǔ)介質(zhì)及電子裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011205000.7
• 申請(qǐng)日: 2020-11-02
• 公開(kāi)（公告）號(hào): CN112257645B
• 公開(kāi)（公告）日: 2023-09-01
• 發(fā)明（設(shè)計(jì)）人: 張姜
• 申請(qǐng)（專利權(quán)）人: 浙江大華技術(shù)股份有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/766;G06V10/82;G06N3/045;G06N3/0464
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 趙靜

1.一種人臉的關(guān)鍵點(diǎn)定位方法，其特征在于，包括：

獲取包括目標(biāo)人臉的人臉圖像；

將所述人臉圖像輸入至第一卷積神經(jīng)網(wǎng)絡(luò)，輸出所述人臉圖像對(duì)應(yīng)的角度特征圖，其中，所述角度特征圖包括所述目標(biāo)人臉的角度信息，所述第一卷積神經(jīng)網(wǎng)絡(luò)是通過(guò)樣本人臉圖像訓(xùn)練預(yù)設(shè)第一卷積神經(jīng)網(wǎng)絡(luò)得到的，所述預(yù)設(shè)第一卷積神經(jīng)網(wǎng)絡(luò)包括輸出樣本角度特征圖的特征提取層、進(jìn)行角度回歸的全連接層和第一損失函數(shù)，在所述第一損失函數(shù)值趨于收斂時(shí)，得到所述第一卷積神經(jīng)網(wǎng)絡(luò)；

將所述人臉圖像和所述角度特征圖輸入至第二卷積神經(jīng)網(wǎng)絡(luò)，輸出所述目標(biāo)人臉的關(guān)鍵點(diǎn)的坐標(biāo)信息，其中，所述第二卷積神經(jīng)網(wǎng)絡(luò)是通過(guò)所述樣本人臉圖像和所述樣本角度特征圖訓(xùn)練預(yù)設(shè)第二卷積神經(jīng)網(wǎng)絡(luò)得到的，所述預(yù)設(shè)第二卷積神經(jīng)網(wǎng)絡(luò)包括關(guān)鍵點(diǎn)坐標(biāo)回歸的全連接層和第二損失函數(shù)，在所述第二損失函數(shù)值趨于收斂時(shí)，得到所述第二卷積神經(jīng)網(wǎng)絡(luò)；

其中，所述將所述人臉圖像和所述角度特征圖輸入至第二卷積神經(jīng)網(wǎng)絡(luò)，輸出所述目標(biāo)人臉的關(guān)鍵點(diǎn)的坐標(biāo)信息，包括：

將所述人臉圖像和所述角度特征圖輸入至所述第二卷積神經(jīng)網(wǎng)絡(luò)中的特征提取層獲取所述人臉圖像的關(guān)鍵點(diǎn)的特征信息；

將所述關(guān)鍵點(diǎn)的特征信息輸入至所述第二卷積神經(jīng)網(wǎng)絡(luò)中的全連接層進(jìn)行關(guān)鍵點(diǎn)坐標(biāo)回歸，輸出所述目標(biāo)人臉的關(guān)鍵點(diǎn)的坐標(biāo)信息；

其中，所述關(guān)鍵點(diǎn)的特征信息為所述人臉圖像和所述角度特征圖在所述第二卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行特征融合得到的特征。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取包括目標(biāo)人臉的人臉圖像，包括：

通過(guò)數(shù)據(jù)集提供的人臉檢測(cè)框從目標(biāo)圖像中獲取所述目標(biāo)人臉的人臉圖像；或，

通過(guò)人臉檢測(cè)工具從所述目標(biāo)圖像中獲取所述目標(biāo)人臉的人臉圖像。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述人臉圖像輸入至第一卷積神經(jīng)網(wǎng)絡(luò)，輸出所述人臉圖像對(duì)應(yīng)的角度特征圖，包括：

將所述人臉圖像輸入至所述第一卷積神經(jīng)網(wǎng)絡(luò)中特征提取層獲取所述人臉圖像的角度特征信息；

將所述角度特征信息輸入至所述第一卷積神經(jīng)網(wǎng)絡(luò)中的全連接層進(jìn)行角度回歸，輸出所述角度特征圖。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取包括目標(biāo)人臉的人臉圖像之后，所述方法還包括：

通過(guò)待標(biāo)注的所述目標(biāo)人臉關(guān)鍵點(diǎn)與標(biāo)準(zhǔn)人臉的關(guān)鍵點(diǎn)獲得一組旋轉(zhuǎn)向量，其中，所述標(biāo)準(zhǔn)人臉的關(guān)鍵點(diǎn)是預(yù)先設(shè)定滿足預(yù)定條件對(duì)應(yīng)的人臉的關(guān)鍵點(diǎn)；

基于所述一組旋轉(zhuǎn)向量獲得相應(yīng)的旋轉(zhuǎn)矩陣或者四元數(shù)，進(jìn)而計(jì)算獲得所述目標(biāo)人臉的第一三維歐拉角。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述通過(guò)待標(biāo)注的所述目標(biāo)人臉關(guān)鍵點(diǎn)與標(biāo)準(zhǔn)人臉的關(guān)鍵點(diǎn)獲得一組旋轉(zhuǎn)向量之前，所述方法還包括：

獲取預(yù)定數(shù)量的所述目標(biāo)人臉的正面人臉的關(guān)鍵點(diǎn)坐標(biāo)值；

將所述預(yù)定數(shù)量的關(guān)鍵點(diǎn)坐標(biāo)值的平均值確定為所述目標(biāo)人臉對(duì)應(yīng)的所述標(biāo)準(zhǔn)人臉的關(guān)鍵點(diǎn)的坐標(biāo)值。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于所述一組旋轉(zhuǎn)向量獲得相應(yīng)的旋轉(zhuǎn)矩陣或者四元數(shù)，進(jìn)而計(jì)算獲得所述目標(biāo)人臉的第一三維歐拉角時(shí)之后，所述方法還包括：

從所述角度特征圖在獲取所述目標(biāo)人臉的第二三維歐拉角；

計(jì)算所述第一三維歐拉角和所述第二三維歐拉角之間的偏差；

根據(jù)所述偏差確定所述第一卷積神經(jīng)網(wǎng)絡(luò)輸出所述目標(biāo)人臉關(guān)鍵點(diǎn)的定位結(jié)果的可信度；

根據(jù)所述可信度調(diào)整所述第一卷積神經(jīng)網(wǎng)絡(luò)。