[發(fā)明專利]臉部特征點(diǎn)檢測(cè)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010442965.1
• 申請(qǐng)日: 2020-05-22
• 公開(kāi)（公告）號(hào): CN111598038B
• 公開(kāi)（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 黃少光;許秋子
• 申請(qǐng)（專利權(quán)）人: 深圳市瑞立視多媒體科技有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/774;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 于亭

1.一種臉部特征點(diǎn)檢測(cè)方法，其特征在于，所述臉部特征點(diǎn)檢測(cè)方法包括：

獲取訓(xùn)練樣本圖像，并對(duì)所述訓(xùn)練樣本圖像進(jìn)行標(biāo)注，得到對(duì)應(yīng)的標(biāo)注信息，其中，所述訓(xùn)練樣本圖像包括遮擋眼部或未遮擋眼部的樣本人臉圖像，所述標(biāo)注信息包括所述樣本人臉圖像中的嘴部和鼻子的多個(gè)特征點(diǎn)對(duì)應(yīng)的坐標(biāo)信息；

將所述訓(xùn)練樣本圖像和對(duì)應(yīng)的標(biāo)注信息輸入預(yù)置殘差網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到臉部特征點(diǎn)檢測(cè)模型，其中，所述殘差網(wǎng)絡(luò)模型包括輸入層、特征提取層、殘差網(wǎng)絡(luò)模型結(jié)構(gòu)和輸出層，所述殘差網(wǎng)絡(luò)模型結(jié)構(gòu)由殘差塊組成；

獲取待檢測(cè)圖像并輸入預(yù)置人體姿態(tài)檢測(cè)模型得到骨骼信息，并根據(jù)預(yù)置人臉規(guī)則進(jìn)行人臉檢測(cè)，得到所述待檢測(cè)圖像中的目標(biāo)人臉圖像；

將所述目標(biāo)人臉圖像輸入所述臉部特征點(diǎn)檢測(cè)模型進(jìn)行檢測(cè)，得到所述目標(biāo)人臉圖像對(duì)應(yīng)的臉部特征點(diǎn)數(shù)據(jù)；

所述將所述訓(xùn)練樣本圖像和對(duì)應(yīng)的標(biāo)注信息輸入預(yù)置殘差網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到臉部特征點(diǎn)檢測(cè)模型包括：

將所述訓(xùn)練樣本圖像輸入所述輸入層，并通過(guò)所述輸入層對(duì)所述訓(xùn)練樣本圖像進(jìn)行歸一化，得到歸一化圖像；

將所述歸一化圖像輸入所述特征提取層，并通過(guò)所述特征提取層對(duì)所述歸一化圖像進(jìn)行特征提取，得到第一特征圖；

將所述第一特征圖輸入所述殘差網(wǎng)絡(luò)模型結(jié)構(gòu)，并通過(guò)所述殘差塊進(jìn)行特征提取和殘差學(xué)習(xí)，得到第二特征圖；

將所述第二特征圖輸入所述輸出層，并通過(guò)所述輸出層對(duì)所述第二特征圖進(jìn)行擬合，得到所述訓(xùn)練樣本的每個(gè)特征點(diǎn)的坐標(biāo)值的預(yù)測(cè)結(jié)果并輸出；

根據(jù)所述預(yù)測(cè)結(jié)果和所述標(biāo)注信息，對(duì)所述殘差網(wǎng)絡(luò)模型的參數(shù)進(jìn)行優(yōu)化，直至所述殘差網(wǎng)絡(luò)模型收斂，得到臉部特征點(diǎn)檢測(cè)模型。

2.根據(jù)權(quán)利要求1所述的臉部特征點(diǎn)檢測(cè)方法，其特征在于，所述獲取訓(xùn)練樣本圖像，并對(duì)所述訓(xùn)練樣本圖像進(jìn)行標(biāo)注，得到對(duì)應(yīng)的標(biāo)注信息包括：

獲取第一樣本圖像，其中，所述第一樣本圖像包括遮擋眼部或未遮擋眼部的樣本人臉圖像；

對(duì)所述第一樣本圖像進(jìn)行數(shù)據(jù)擴(kuò)充，得到第二樣本圖像，其中，所述數(shù)據(jù)擴(kuò)充的方式包括旋轉(zhuǎn)、剪切、隨機(jī)增加噪音中的一種或多種；

將所述第二樣本圖像作為訓(xùn)練樣本圖像，并標(biāo)注所述訓(xùn)練樣本圖像中嘴巴和鼻子的特征點(diǎn)對(duì)應(yīng)的坐標(biāo)，得到對(duì)應(yīng)的標(biāo)注信息。

3.根據(jù)權(quán)利要求1所述的臉部特征點(diǎn)檢測(cè)方法，其特征在于，所述輸出層包括全連接層，所述將所述第二特征圖輸入所述輸出層，并通過(guò)所述輸出層對(duì)所述第二特征圖進(jìn)行擬合，得到所述訓(xùn)練樣本的每個(gè)特征點(diǎn)坐標(biāo)的預(yù)測(cè)結(jié)果并輸出包括：

將所述第二特征圖輸入所述全連接層，并通過(guò)所述全連接層將所述第二特征圖進(jìn)行擬合，得到所述訓(xùn)練樣本圖像對(duì)應(yīng)的輸出值；

根據(jù)所述輸出值，計(jì)算出所述訓(xùn)練樣本圖像的每個(gè)特征點(diǎn)的坐標(biāo)值；

將所述坐標(biāo)值作為所述訓(xùn)練樣本圖像對(duì)應(yīng)的預(yù)測(cè)結(jié)果并輸出。

4.根據(jù)權(quán)利要求1所述的臉部特征點(diǎn)檢測(cè)方法，其特征在于，所述根據(jù)所述預(yù)測(cè)結(jié)果和所述標(biāo)注信息，對(duì)所述殘差網(wǎng)絡(luò)模型的參數(shù)進(jìn)行優(yōu)化，直至所述殘差網(wǎng)絡(luò)模型收斂，得到臉部特征點(diǎn)檢測(cè)模型包括：

根據(jù)預(yù)置損失函數(shù)，計(jì)算所述預(yù)測(cè)結(jié)果和所述標(biāo)注信息之間的損失值，其中，所述損失函數(shù)的公式為?，為線性方程因子，m為所述訓(xùn)練樣本圖像的個(gè)數(shù)，為網(wǎng)絡(luò)輸入，為預(yù)測(cè)結(jié)果，為標(biāo)注信息，為訓(xùn)練樣本圖像的第個(gè)像素點(diǎn)；

將所述損失值反向傳播回所述殘差網(wǎng)絡(luò)模型，并基于預(yù)置優(yōu)化器，對(duì)所述殘差網(wǎng)絡(luò)模型的學(xué)習(xí)率和參數(shù)進(jìn)行優(yōu)化；

若所述殘差網(wǎng)絡(luò)模型收斂，則將當(dāng)前的殘差網(wǎng)絡(luò)模型作為臉部特征點(diǎn)檢測(cè)模型。

5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的臉部特征點(diǎn)檢測(cè)方法，其特征在于，所述獲取待檢測(cè)圖像并輸入預(yù)置人體姿態(tài)檢測(cè)模型得到骨骼信息，并根據(jù)預(yù)置人臉規(guī)則進(jìn)行人臉檢測(cè)，得到所述待檢測(cè)圖像的目標(biāo)人臉圖像包括：

獲取待檢測(cè)圖像；

將所述待檢測(cè)圖像輸入預(yù)置人體姿態(tài)檢測(cè)模型，并通過(guò)所述人體姿態(tài)檢測(cè)模型，得到所述待檢測(cè)圖像中骨骼信息，其中，所述骨骼信息包括所述待檢測(cè)圖像中耳朵或鼻子的位置坐標(biāo)；

根據(jù)預(yù)置人臉規(guī)則和所述骨骼信息，確定所述待檢測(cè)圖像中的人臉區(qū)域并提取，得到目標(biāo)人臉圖像。