[發(fā)明專利]對(duì)象關(guān)鍵點(diǎn)的檢測(cè)模型訓(xùn)練的相關(guān)方法、裝置、設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110412938.4
• 申請(qǐng)日: 2021-04-16
• 公開（公告）號(hào): CN113408568A
• 公開（公告）日: 2021-09-17
• 發(fā)明（設(shè)計(jì)）人: 謝宇;賈若然;譚昶;湯進(jìn);李成龍
• 申請(qǐng)（專利權(quán)）人: 科大訊飛股份有限公司;安徽大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 何倚雯

1.一種對(duì)象關(guān)鍵點(diǎn)的檢測(cè)模型訓(xùn)練方法，其特征在于，所述對(duì)象關(guān)鍵點(diǎn)的檢測(cè)模型訓(xùn)練方法包括：

獲取到樣本圖片，將所述樣本圖片輸入到所述檢測(cè)模型中，得到所述樣本圖片的初始特征圖；其中，所述樣本圖片中包括樣本對(duì)象；

基于所述初始特征圖生成所述樣本圖片對(duì)應(yīng)的第一熱圖；

基于標(biāo)準(zhǔn)檢測(cè)結(jié)果與所述第一熱圖生成第二熱圖；

基于所述標(biāo)準(zhǔn)檢測(cè)結(jié)果以及所述第一熱圖和/或第二熱圖對(duì)所述檢測(cè)模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的檢測(cè)模型。

2.根據(jù)權(quán)利要求1所述的對(duì)象關(guān)鍵點(diǎn)的檢測(cè)模型訓(xùn)練方法，其特征在于，所述標(biāo)準(zhǔn)檢測(cè)結(jié)果包括標(biāo)準(zhǔn)坐標(biāo)結(jié)果以及標(biāo)準(zhǔn)分類結(jié)果；

所述基于所述初始特征圖生成所述樣本圖片對(duì)應(yīng)的第一熱圖的步驟包括：

將所述初始特征圖輸入到所述檢測(cè)模型的第一沙漏網(wǎng)絡(luò)中進(jìn)行特征處理，得到包括多個(gè)通道的所述第一熱圖；其中，各通道對(duì)應(yīng)包括各關(guān)鍵點(diǎn)的初始特征值；

所述基于標(biāo)準(zhǔn)檢測(cè)結(jié)果與所述第一熱圖生成第二熱圖的步驟包括：

利用所述標(biāo)準(zhǔn)分類結(jié)果將所述第一熱圖的初始特征值進(jìn)行融合；

將所述融合后的所述第一熱圖輸入到所述檢測(cè)模型的第二沙漏網(wǎng)絡(luò)中再次進(jìn)行特征處理，得到包括多個(gè)通道的所述第二熱圖；其中，各通道對(duì)應(yīng)包括各關(guān)鍵點(diǎn)的特征值。

3.根據(jù)權(quán)利要求2所述的對(duì)象關(guān)鍵點(diǎn)的檢測(cè)模型訓(xùn)練方法，其特征在于，所述對(duì)象包括車輛，所述標(biāo)準(zhǔn)分類結(jié)果包括可見關(guān)鍵點(diǎn)、不可見關(guān)鍵點(diǎn)或遮擋關(guān)鍵點(diǎn)；

所述利用所述標(biāo)準(zhǔn)分類結(jié)果將所述第一熱圖的初始特征值進(jìn)行融合的步驟包括：

基于所述標(biāo)準(zhǔn)分類結(jié)果增大所述第一熱圖中可見關(guān)鍵點(diǎn)的初始特征值，以及縮小不可見關(guān)鍵點(diǎn)以及遮擋關(guān)鍵點(diǎn)的初始特征值。

4.根據(jù)權(quán)利要求2所述的對(duì)象關(guān)鍵點(diǎn)的檢測(cè)模型訓(xùn)練方法，其特征在于，所述基于所述標(biāo)準(zhǔn)檢測(cè)結(jié)果以及所述第一熱圖和/或第二熱圖對(duì)所述檢測(cè)模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的檢測(cè)模型的步驟包括：

將所述第一熱圖中各通道的特征值和/或所述第二熱圖中各通道的特征值與所述標(biāo)準(zhǔn)坐標(biāo)結(jié)果對(duì)應(yīng)的熱圖中的特征值進(jìn)行逐像素多類交叉熵?fù)p失，以對(duì)所述檢測(cè)模型進(jìn)行訓(xùn)練。

5.根據(jù)權(quán)利要求1所述的對(duì)象關(guān)鍵點(diǎn)的檢測(cè)模型訓(xùn)練方法，其特征在于，所述獲取到樣本圖片的步驟還包括：

接收人工對(duì)所述樣本圖片進(jìn)行處理，得到所述標(biāo)準(zhǔn)檢測(cè)結(jié)果；或

接收所述檢測(cè)模型對(duì)所述樣本圖片進(jìn)行處理，得到所述標(biāo)準(zhǔn)檢測(cè)結(jié)果的標(biāo)準(zhǔn)分類結(jié)果；以及

接收人工對(duì)所述樣本圖片進(jìn)行處理，得到所述標(biāo)準(zhǔn)檢測(cè)結(jié)果的標(biāo)準(zhǔn)坐標(biāo)結(jié)果。

6.根據(jù)權(quán)利要求5所述的對(duì)象關(guān)鍵點(diǎn)的檢測(cè)模型訓(xùn)練方法，其特征在于，所述接收所述檢測(cè)模型對(duì)所述樣本圖片的處理，得到所述標(biāo)準(zhǔn)檢測(cè)結(jié)果的步驟包括：

接收人工處理后的訓(xùn)練圖片，獲取所述訓(xùn)練圖片的標(biāo)準(zhǔn)分類結(jié)果；

通過所述檢測(cè)模型的分類網(wǎng)絡(luò)對(duì)所述訓(xùn)練圖片上對(duì)象的各關(guān)鍵點(diǎn)進(jìn)行分類，得到各關(guān)鍵點(diǎn)的分類結(jié)果；

基于所述訓(xùn)練圖片的標(biāo)準(zhǔn)分類結(jié)果以及所述分類結(jié)果對(duì)所述檢測(cè)模型的分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的分類網(wǎng)絡(luò)；

通過訓(xùn)練后的分類網(wǎng)絡(luò)對(duì)所述樣本圖片進(jìn)行分類處理，得到所述樣本圖片的標(biāo)準(zhǔn)分類結(jié)果。

7.根據(jù)權(quán)利要求1所述的對(duì)象關(guān)鍵點(diǎn)的檢測(cè)模型訓(xùn)練方法，其特征在于，所述將所述樣本圖片輸入到所述檢測(cè)模型中，得到所述樣本圖片的初始特征圖的步驟包括：

通過所述檢測(cè)模型的特征提取網(wǎng)絡(luò)對(duì)樣本圖片進(jìn)行卷積處理以及池化處理，得到所述初始特征圖。

8.根據(jù)權(quán)利要求1所述的對(duì)象關(guān)鍵點(diǎn)的檢測(cè)模型訓(xùn)練方法，其特征在于，所述將所述樣本圖片輸入到所述檢測(cè)模型中，得到所述樣本圖片的初始特征圖的步驟之前包括：

基于所述樣本對(duì)象在所述樣本圖片中的位置對(duì)所述樣本圖片進(jìn)行裁剪；

對(duì)裁剪后的樣本圖片進(jìn)行尺寸調(diào)整，得到預(yù)處理后的樣本圖片。