[發(fā)明專利]一種人臉關(guān)鍵點(diǎn)檢測模型的生成方法及相關(guān)設(shè)備

在審

• 申請?zhí)枺?/td>: 201911409081.X
• 申請日: 2019-12-31
• 公開（公告）號(hào): CN113128277A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 齊國強(qiáng);阮志鋒
• 申請（專利權(quán)）人: TCL集團(tuán)股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 深圳市君勝知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 王永文;劉芙蓉

本發(fā)明提供了一種基于神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測方法及相關(guān)設(shè)備，在對人臉圖片進(jìn)行關(guān)鍵點(diǎn)位置信息檢測時(shí)，通過將含有人臉關(guān)鍵點(diǎn)信息的特征圖與熱度圖相融合進(jìn)行人臉圖片中關(guān)鍵點(diǎn)位置信息檢測，由于熱度圖表征有關(guān)鍵點(diǎn)與其周邊關(guān)鍵點(diǎn)之間相似的強(qiáng)度，因此將特征圖與熱度圖相融合，提高人臉關(guān)鍵點(diǎn)位置信息周邊比例，減少人臉關(guān)鍵點(diǎn)檢測任務(wù)上與人臉關(guān)鍵點(diǎn)無關(guān)信息的干擾，且在多種尺度下將特征圖與融合后特征融合圖信息合并，避免了重要信息的丟失，從而實(shí)現(xiàn)人臉關(guān)鍵點(diǎn)檢測的速度和精度上的提高。

技術(shù)領(lǐng)域

本發(fā)明涉及人臉檢測技術(shù)領(lǐng)域，尤其涉及的是一種人臉關(guān)鍵點(diǎn)檢測模型的生成方法及相關(guān)設(shè)備。

背景技術(shù)

人臉關(guān)鍵點(diǎn)檢測,人臉關(guān)鍵點(diǎn)檢測任務(wù)是要根據(jù)給定的人臉預(yù)測出如臉部輪廓、眼部、嘴部、眉毛等預(yù)先定義好的一系列關(guān)鍵點(diǎn)的坐標(biāo)，又稱作人臉對齊,是計(jì)算機(jī)視覺領(lǐng)域中的經(jīng)典問題之一。精確的人臉關(guān)鍵點(diǎn)定位是許多其他人臉分析人物的基礎(chǔ),如表情識(shí)別,3D人臉重建,姿態(tài)估計(jì)等任務(wù)。

用于人臉關(guān)鍵點(diǎn)檢測的SBR模型(Supervision-by-Registration，SBR)主要是基于人臉在實(shí)際視頻中運(yùn)動(dòng)過程較為平滑，不需要提供任何額外的人工標(biāo)注數(shù)據(jù)，通過人臉運(yùn)動(dòng)平滑的特性就能提升檢測器的性能，尤其對視頻中人臉關(guān)鍵點(diǎn)檢測的穩(wěn)定性要有很大提升。但是整個(gè)網(wǎng)絡(luò)基于的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜冗余，使得對算法分析驗(yàn)證變得十分困難。

現(xiàn)有技術(shù)中的人臉關(guān)鍵點(diǎn)檢測算法的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，導(dǎo)致網(wǎng)絡(luò)對于人臉關(guān)鍵點(diǎn)相關(guān)信息的提取效率低，且對算法分析驗(yàn)證難度高等缺點(diǎn)，因此現(xiàn)有技術(shù)中的人臉關(guān)鍵點(diǎn)檢測方法無法滿足精度高和檢測速度快的要求。

因此，現(xiàn)有技術(shù)有待于進(jìn)一步的改進(jìn)。

發(fā)明內(nèi)容

鑒于上述現(xiàn)有技術(shù)中的不足之處，本發(fā)明提供了一種人臉關(guān)鍵點(diǎn)檢測模型的生成方法及相關(guān)設(shè)備，克服現(xiàn)有技術(shù)中人臉關(guān)鍵點(diǎn)提取時(shí)，由于現(xiàn)有技術(shù)中的人臉關(guān)鍵點(diǎn)檢測算法的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，導(dǎo)致的檢測結(jié)果精度差，檢測速度慢等缺陷。

第一方面，本實(shí)施例公開了一種人臉關(guān)鍵點(diǎn)檢測模型的生成方法，其中，包括：

預(yù)設(shè)網(wǎng)絡(luò)模型根據(jù)訓(xùn)練集中人臉圖片，生成所述人臉圖片對應(yīng)的預(yù)測關(guān)鍵點(diǎn)位置信息組和預(yù)測關(guān)鍵點(diǎn)熱度圖，其中，所述訓(xùn)練集包括多組訓(xùn)練樣本，每組訓(xùn)練樣本包括人臉圖片以及人臉圖片對應(yīng)的關(guān)鍵點(diǎn)熱度圖和關(guān)鍵點(diǎn)位置信息；

所述預(yù)設(shè)網(wǎng)絡(luò)模型根據(jù)所述人臉圖片對應(yīng)的預(yù)測關(guān)鍵點(diǎn)位置信息組和所述預(yù)測關(guān)鍵點(diǎn)熱度圖，以及所述人臉圖片對應(yīng)的關(guān)鍵點(diǎn)熱度圖和關(guān)鍵點(diǎn)位置信息，對模型參數(shù)進(jìn)行修正，并繼續(xù)執(zhí)行根據(jù)所述訓(xùn)練集中人臉圖片，生成所述人臉圖片對應(yīng)的預(yù)測關(guān)鍵點(diǎn)位置信息組和預(yù)測關(guān)鍵點(diǎn)熱度圖的步驟，直至所述預(yù)設(shè)網(wǎng)絡(luò)模型的訓(xùn)練情況滿足預(yù)設(shè)條件，以得到所述人臉關(guān)鍵點(diǎn)檢測模型。

可選的，所述預(yù)設(shè)網(wǎng)絡(luò)模型根據(jù)所述人臉圖片對應(yīng)的預(yù)測關(guān)鍵點(diǎn)位置信息組和所述預(yù)測關(guān)鍵點(diǎn)熱度圖，以及所述人臉圖片對應(yīng)的關(guān)鍵點(diǎn)熱度圖和關(guān)鍵點(diǎn)位置信息，對模型參數(shù)進(jìn)行修正的步驟包括：

根據(jù)所述人臉圖片對應(yīng)的預(yù)測關(guān)鍵點(diǎn)位置信息組和所述關(guān)鍵點(diǎn)位置信息，計(jì)算出位置損失值；

根據(jù)所述預(yù)測關(guān)鍵點(diǎn)熱度圖、關(guān)鍵點(diǎn)熱度圖計(jì)算出熱度圖損失值；

根據(jù)所述位置損失值和熱度圖損失值計(jì)算出總損失值；

根據(jù)所述總損失值對模型參數(shù)進(jìn)行修正。

可選的，所述預(yù)設(shè)網(wǎng)絡(luò)模型包括：特征圖提取模塊、融合圖生成模塊和預(yù)測模塊；

所述預(yù)設(shè)網(wǎng)絡(luò)模型根據(jù)訓(xùn)練集中人臉圖片，生成所述人臉圖片對應(yīng)的預(yù)測關(guān)鍵點(diǎn)位置信息組和預(yù)測關(guān)鍵點(diǎn)熱度圖的步驟包括：

將所述人臉圖片輸入所述特征圖提取模塊，通過所述特征圖提取模塊得到所述人臉圖片對應(yīng)的下采樣特征圖組，所述下采樣特征圖組包括多張預(yù)設(shè)尺寸不同的下采樣特征圖；