[發(fā)明專利]遮擋預(yù)測(cè)模型訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110575346.4
• 申請(qǐng)日: 2021-05-26
• 公開（公告）號(hào): CN113033524B
• 公開（公告）日: 2021-08-17
• 發(fā)明（設(shè)計(jì)）人: 江坤;浦煜;石芳;保長(zhǎng)存;戶磊
• 申請(qǐng)（專利權(quán)）人: 北京的盧深視科技有限公司;合肥的盧深視科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京智晨知識(shí)產(chǎn)權(quán)代理有限公司 11584
• 代理人: 張婧

1.一種遮擋預(yù)測(cè)模型訓(xùn)練方法，其特征在于，所述遮擋預(yù)測(cè)模型包括特征提取網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)，所述方法包括：

獲取人臉圖像，其中，所述人臉圖像上標(biāo)注有關(guān)鍵點(diǎn)和關(guān)鍵點(diǎn)遮擋屬性；

將所述人臉圖像輸入到所述特征提取網(wǎng)絡(luò)中，獲取人臉特征圖像；

根據(jù)所述人臉特征圖像和預(yù)設(shè)的熱圖損失函數(shù)訓(xùn)練所述特征金字塔網(wǎng)絡(luò)，獲取所述關(guān)鍵點(diǎn)對(duì)應(yīng)的熱圖；

根據(jù)所述熱圖、預(yù)設(shè)的關(guān)鍵點(diǎn)偏移損失函數(shù)和預(yù)設(shè)的遮擋損失函數(shù)訓(xùn)練所述特征金字塔網(wǎng)絡(luò)，獲取訓(xùn)練后的遮擋預(yù)測(cè)模型，所述訓(xùn)練后的遮擋預(yù)測(cè)模型的輸出包括所述關(guān)鍵點(diǎn)的熱圖、所述關(guān)鍵點(diǎn)的位置偏移值和所述關(guān)鍵點(diǎn)的遮擋屬性。

2.根據(jù)權(quán)利要求1所述的遮擋預(yù)測(cè)模型訓(xùn)練方法，其特征在于，所述將所述人臉圖像輸入到所述特征提取網(wǎng)絡(luò)中之前還包括：

獲取所述人臉圖像的人臉框；

依次對(duì)所述人臉框進(jìn)行中心點(diǎn)偏移處理、放大處理和剪裁處理；

將所述剪裁處理后的人臉圖像縮放至預(yù)設(shè)尺寸。

3.根據(jù)權(quán)利要求1所述的遮擋預(yù)測(cè)模型訓(xùn)練方法，其特征在于，所述將所述人臉圖像輸入到所述特征提取網(wǎng)絡(luò)中之前還包括：

獲取遮擋數(shù)據(jù)；

根據(jù)所述遮擋數(shù)據(jù)對(duì)所述人臉圖像進(jìn)行處理，并修改所述關(guān)鍵點(diǎn)遮擋屬性。

4.根據(jù)權(quán)利要求1所述的遮擋預(yù)測(cè)模型訓(xùn)練方法，其特征在于，所述獲取所述關(guān)鍵點(diǎn)對(duì)應(yīng)的熱圖還包括獲取所述熱圖的標(biāo)簽值和熱圖預(yù)測(cè)標(biāo)簽值；所述預(yù)設(shè)的熱圖損失函數(shù)通過(guò)所述熱圖的標(biāo)簽值和熱圖預(yù)測(cè)標(biāo)簽值獲取。

5.根據(jù)權(quán)利要求1所述的遮擋預(yù)測(cè)模型訓(xùn)練方法，其特征在于，所述關(guān)鍵點(diǎn)偏移損失函數(shù)通過(guò)所述關(guān)鍵點(diǎn)的位置偏移值和所述關(guān)鍵點(diǎn)的預(yù)測(cè)位置偏移值獲取，其中，所述關(guān)鍵點(diǎn)的位置偏移值通過(guò)所述人臉圖像的關(guān)鍵點(diǎn)位置坐標(biāo)和所述熱圖的關(guān)鍵點(diǎn)位置坐標(biāo)獲取，所述關(guān)鍵點(diǎn)的預(yù)測(cè)位置偏移值通過(guò)所述特征金字塔網(wǎng)絡(luò)獲取。

6.根據(jù)權(quán)利要求1所述的遮擋預(yù)測(cè)模型訓(xùn)練方法，其特征在于，所述遮擋損失函數(shù)通過(guò)所述關(guān)鍵點(diǎn)遮擋屬性和所述關(guān)鍵點(diǎn)的預(yù)測(cè)遮擋屬性獲取，其中，所述關(guān)鍵點(diǎn)的預(yù)測(cè)遮擋屬性通過(guò)所述特征金字塔網(wǎng)絡(luò)獲取。

7.根據(jù)權(quán)利要求1所述的遮擋預(yù)測(cè)模型訓(xùn)練方法，其特征在于，所述獲取訓(xùn)練后的遮擋預(yù)測(cè)模型之后還包括：

獲取測(cè)試圖片；

將所述測(cè)試圖片輸入所述訓(xùn)練后的遮擋預(yù)測(cè)模型中進(jìn)行處理，獲取遮擋預(yù)測(cè)結(jié)果；

根據(jù)所述遮擋預(yù)測(cè)結(jié)果獲取所述訓(xùn)練后的遮擋預(yù)測(cè)模型的預(yù)測(cè)性能；

若所述預(yù)測(cè)性能滿足預(yù)設(shè)條件，則停止對(duì)所述訓(xùn)練后的遮擋預(yù)測(cè)模型的訓(xùn)練；

若所述預(yù)測(cè)性能不滿足預(yù)設(shè)條件，則對(duì)所述訓(xùn)練后的遮擋預(yù)測(cè)模型進(jìn)行訓(xùn)練。

8.一種遮擋預(yù)測(cè)模型訓(xùn)練裝置，其特征在于，所述遮擋預(yù)測(cè)模型包括特征提取網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)，所述裝置包括：

圖像獲取模塊，用于獲取人臉圖像，其中，所述人臉圖像上標(biāo)注有關(guān)鍵點(diǎn)和關(guān)鍵點(diǎn)遮擋屬性；

特征提取模塊，用于將所述人臉圖像輸入到所述特征提取網(wǎng)絡(luò)中，獲取人臉特征圖像；

模型訓(xùn)練模塊，用于根據(jù)所述人臉特征圖像和預(yù)設(shè)的熱圖損失函數(shù)訓(xùn)練所述特征金字塔網(wǎng)絡(luò)，獲取所述關(guān)鍵點(diǎn)對(duì)應(yīng)的熱圖，用于根據(jù)所述熱圖、預(yù)設(shè)的關(guān)鍵點(diǎn)偏移損失函數(shù)和預(yù)設(shè)的遮擋損失函數(shù)訓(xùn)練所述特征金字塔網(wǎng)絡(luò)，獲取訓(xùn)練后的遮擋預(yù)測(cè)模型，所述訓(xùn)練后的遮擋預(yù)測(cè)模型的輸出包括所述關(guān)鍵點(diǎn)的熱圖、所述關(guān)鍵點(diǎn)的位置偏移值和所述關(guān)鍵點(diǎn)的遮擋屬性。

9.一種電子設(shè)備，其特征在于，包括：至少一個(gè)處理器；以及，

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如權(quán)利要求1至7中任一所述的遮擋預(yù)測(cè)模型訓(xùn)練方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的遮擋預(yù)測(cè)模型訓(xùn)練方法。