[發(fā)明專利]一種人臉關(guān)鍵點(diǎn)檢測(cè)模型的生成方法及相關(guān)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201911409081.X
• 申請(qǐng)日: 2019-12-31
• 公開(kāi)（公告）號(hào): CN113128277A
• 公開(kāi)（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 齊國(guó)強(qiáng);阮志鋒
• 申請(qǐng)（專利權(quán)）人: TCL集團(tuán)股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 深圳市君勝知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 王永文;劉芙蓉

1.一種人臉關(guān)鍵點(diǎn)檢測(cè)模型的生成方法，其特征在于，包括：

預(yù)設(shè)網(wǎng)絡(luò)模型根據(jù)訓(xùn)練集中人臉圖片，生成所述人臉圖片對(duì)應(yīng)的預(yù)測(cè)關(guān)鍵點(diǎn)位置信息組和預(yù)測(cè)關(guān)鍵點(diǎn)熱度圖，其中，所述訓(xùn)練集包括多組訓(xùn)練樣本，每組訓(xùn)練樣本包括人臉圖片以及人臉圖片對(duì)應(yīng)的關(guān)鍵點(diǎn)熱度圖和關(guān)鍵點(diǎn)位置信息；

所述預(yù)設(shè)網(wǎng)絡(luò)模型根據(jù)所述人臉圖片對(duì)應(yīng)的預(yù)測(cè)關(guān)鍵點(diǎn)位置信息組和所述預(yù)測(cè)關(guān)鍵點(diǎn)熱度圖，以及所述人臉圖片對(duì)應(yīng)的關(guān)鍵點(diǎn)熱度圖和關(guān)鍵點(diǎn)位置信息，對(duì)模型參數(shù)進(jìn)行修正，并繼續(xù)執(zhí)行所述根據(jù)所述訓(xùn)練集中人臉圖片，生成所述人臉圖片對(duì)應(yīng)的預(yù)測(cè)關(guān)鍵點(diǎn)位置信息組和預(yù)測(cè)關(guān)鍵點(diǎn)熱度圖的步驟，直至所述預(yù)設(shè)網(wǎng)絡(luò)模型的訓(xùn)練情況滿足預(yù)設(shè)條件，以得到所述人臉關(guān)鍵點(diǎn)檢測(cè)模型。

2.根據(jù)權(quán)利要求1所述的人臉關(guān)鍵點(diǎn)檢測(cè)模型的生成方法，其特征在于，所述預(yù)設(shè)網(wǎng)絡(luò)模型根據(jù)所述人臉圖片對(duì)應(yīng)的預(yù)測(cè)關(guān)鍵點(diǎn)位置信息組和所述預(yù)測(cè)關(guān)鍵點(diǎn)熱度圖，以及所述人臉圖片對(duì)應(yīng)的關(guān)鍵點(diǎn)熱度圖和關(guān)鍵點(diǎn)位置信息，對(duì)模型參數(shù)進(jìn)行修正的步驟包括：

根據(jù)所述人臉圖片對(duì)應(yīng)的預(yù)測(cè)關(guān)鍵點(diǎn)位置信息組和所述關(guān)鍵點(diǎn)位置信息，計(jì)算出位置損失值；

根據(jù)所述預(yù)測(cè)關(guān)鍵點(diǎn)熱度圖、關(guān)鍵點(diǎn)熱度圖計(jì)算出熱度圖損失值；

根據(jù)所述位置損失值和熱度圖損失值計(jì)算出總損失值；

根據(jù)所述總損失值對(duì)模型參數(shù)進(jìn)行修正。

3.根據(jù)權(quán)利要求1所述的人臉關(guān)鍵點(diǎn)檢測(cè)模型的生成方法，其特征在于，所述預(yù)設(shè)網(wǎng)絡(luò)模型包括：特征圖提取模塊、融合圖生成模塊和預(yù)測(cè)模塊；

所述預(yù)設(shè)網(wǎng)絡(luò)模型根據(jù)訓(xùn)練集中人臉圖片，生成所述人臉圖片對(duì)應(yīng)的預(yù)測(cè)關(guān)鍵點(diǎn)位置信息組和預(yù)測(cè)關(guān)鍵點(diǎn)熱度圖的步驟包括：

將所述人臉圖片輸入所述特征圖提取模塊，通過(guò)所述特征圖提取模塊得到所述人臉圖片對(duì)應(yīng)的下采樣特征圖組，所述下采樣特征圖組包括多張預(yù)設(shè)尺寸不同的下采樣特征圖；

將所述下采樣特征圖組輸入所述融合圖生成模塊，通過(guò)所述融合圖生成模塊得到融合圖組；其中，所述融合圖組包括多張融合圖，每張融合圖對(duì)應(yīng)一張下采樣特征圖，且各張融合圖對(duì)應(yīng)的下采樣特征圖不同；

將所述下采樣特征圖組中指定下采樣特征圖和所述融合圖組輸入到預(yù)測(cè)模塊，通過(guò)所述預(yù)測(cè)模塊得到所述人臉圖片對(duì)應(yīng)的預(yù)測(cè)關(guān)鍵點(diǎn)位置信息組和預(yù)測(cè)關(guān)鍵點(diǎn)熱度圖。

4.根據(jù)權(quán)利要求3所述的人臉關(guān)鍵點(diǎn)檢測(cè)模型的生成方法，其特征在于，所述特征圖提取模塊包括：k層下采樣單元，其中，k為正整數(shù)；

將所述人臉圖片輸入所述特征圖提取模塊，通過(guò)所述特征圖提取模塊得到所述人臉圖片對(duì)應(yīng)的下采樣特征圖組的步驟包括：

將所述人臉圖片輸入第一層下采樣單元，通過(guò)所述第一層下采樣單元輸出第一下采樣特征圖；

將第二層下采樣單元作為目標(biāo)下采樣單元，將所述第一下采樣特征圖作為目標(biāo)特征圖；

將所述目標(biāo)特征圖分別輸入到所述目標(biāo)下采樣單元和所述融合圖生成模塊，通過(guò)所述目標(biāo)下采樣單元輸出第二下采樣特征圖；

將所述目標(biāo)下采樣單元輸出的第二下采樣特征圖作為目標(biāo)特征圖，并將所述目標(biāo)下采樣單元的后一層下采樣單元作為目標(biāo)下采樣單元；

繼續(xù)執(zhí)行將目標(biāo)特征圖分別輸入到所述目標(biāo)下采樣單元和所述融合圖生成模塊的步驟，直至通過(guò)第k層下采樣單元輸出第k下采樣特征圖，得到所述特征圖提取模塊輸出的所述下采樣特征圖組。

5.根據(jù)權(quán)利要求3所述的人臉關(guān)鍵點(diǎn)檢測(cè)模型的生成方法，其特征在于，所述融合圖生成模塊包括關(guān)鍵點(diǎn)信息生成單元和融合單元；

所述將所述下采樣特征圖組輸入所述融合圖生成模塊，通過(guò)所述融合圖生成模塊得到融合圖組的步驟包括：

將第k層下采樣單元輸出的所述第k下采樣特征圖輸入到所述關(guān)鍵點(diǎn)信息生成單元，通過(guò)所述關(guān)鍵點(diǎn)信息生成單元得到與所述第k下采樣特征圖對(duì)應(yīng)的關(guān)鍵點(diǎn)位置特征圖；其中，所述關(guān)鍵點(diǎn)位置特征圖包括預(yù)測(cè)出的關(guān)鍵點(diǎn)坐標(biāo)信息；

將所述關(guān)鍵點(diǎn)位置特征圖和所述下采樣特征圖組中除所述指定下采樣特征圖之外的其他下采樣特征圖輸入到所述融合單元，通過(guò)所述融合單元輸出所述融合圖組。