[發(fā)明專利]關(guān)鍵點(diǎn)的識別方法、裝置及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110085505.2
• 申請日: 2021-01-21
• 公開（公告）號: CN112784743B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 沈輝;王健;楊黔生;孫昊
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/46;G06V10/764;G06V10/82;G06N3/0464;G06N3/047;G06N3/048;G06N3/084
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 韓?；?/td>

本公開公開了一種關(guān)鍵點(diǎn)的識別方法、裝置及存儲介質(zhì)，涉及深度學(xué)習(xí)、計(jì)算機(jī)視覺等人工智能技術(shù)領(lǐng)域。具體實(shí)現(xiàn)方案為：將包含目標(biāo)物體的圖片輸入包括M層卷積層的預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)，獲取每層卷積層輸出的初始特征圖，其中，M為大于2的自然數(shù)；根據(jù)初始特征圖，獲取與每層卷積層對應(yīng)的參考特征圖；分別獲取與每個(gè)參考特征圖的熱力圖，并根據(jù)熱力圖和對應(yīng)的參考特征圖獲取每個(gè)參考特征圖的候選特征圖；根據(jù)所有候選特征圖，獲取目標(biāo)物體的關(guān)鍵點(diǎn)信息。由此，提高了關(guān)鍵點(diǎn)識別的精確度。

技術(shù)領(lǐng)域

本公開涉及深度學(xué)習(xí)、計(jì)算機(jī)視覺等人工智能技術(shù)領(lǐng)域，尤其涉及一種關(guān)鍵點(diǎn)的識別方法、裝置及存儲介質(zhì)。

背景技術(shù)

關(guān)鍵點(diǎn)識別作為計(jì)算機(jī)視覺領(lǐng)域的重要分支，具有重要意義，比如手勢識別目前越來越多地被用于人機(jī)交互、手語翻譯等場景。

相關(guān)技術(shù)中，主要使用輕量級檢測算法檢測圖片中的手勢關(guān)鍵點(diǎn)，比如，基于無錨點(diǎn)的檢測方案，先預(yù)測物體中心點(diǎn)和類別，同時(shí)預(yù)測物體框四邊到中心點(diǎn)的長寬，最終按照得分高低篩選出目標(biāo)框。基于人體關(guān)鍵點(diǎn)幾何推理的人手檢測方案，先檢測人體關(guān)鍵點(diǎn)，然后根據(jù)手肘和手腕的位置形成一個(gè)手肘指向手腕的向量，將這個(gè)向量延伸1.5倍作為人手中心點(diǎn)，再根據(jù)這個(gè)向量的大小去估算人手框的大小，最后基于人手框定位人手的關(guān)鍵點(diǎn)。

然而，上述無錨點(diǎn)的檢測算法，模型都比較大，不能部署在低端移動設(shè)備上，而即便可以部署，也無法有效過濾掉非人手區(qū)域的誤檢。基于人體關(guān)鍵點(diǎn)幾何推理的人手檢測方案，可能會因?yàn)槿梭w關(guān)鍵點(diǎn)估算錯(cuò)誤(比如由于人體重疊、遮擋等因素)造成人手檢測定位到錯(cuò)誤區(qū)域，造成誤檢。

發(fā)明內(nèi)容

本公開提供了一種用于解決關(guān)鍵點(diǎn)定位不準(zhǔn)確的問題的關(guān)鍵點(diǎn)的識別方法、裝置及存儲介質(zhì)。

根據(jù)本公開的一方面，提供了一種關(guān)鍵點(diǎn)的識別方法，包括：將包含目標(biāo)物體的圖片輸入包括M層卷積層的預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)，獲取每層所述卷積層輸出的初始特征圖，其中，M為大于2的自然數(shù)；根據(jù)所述初始特征圖，獲取與每層所述卷積層對應(yīng)的參考特征圖；分別獲取與每個(gè)所述參考特征圖的熱力圖，并根據(jù)所述熱力圖和對應(yīng)的參考特征圖獲取每個(gè)所述參考特征圖的候選特征圖；根據(jù)所有所述候選特征圖，獲取所述目標(biāo)物體的關(guān)鍵點(diǎn)信息。

根據(jù)本公開的另一方面，提供了一種關(guān)鍵點(diǎn)的識別裝置，包括：第一獲取模塊，用于將包含目標(biāo)物體的圖片輸入包括M層卷積層的預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)，獲取每層所述卷積層輸出的初始特征圖，其中，M為大于2的自然數(shù)；第二獲取模塊，用于根據(jù)所述初始特征圖，獲取與每層所述卷積層對應(yīng)的參考特征圖；第三獲取模塊，用于分別獲取與每個(gè)所述參考特征圖的熱力圖；第四獲取模塊，用于根據(jù)所述熱力圖和對應(yīng)的參考特征圖獲取每個(gè)所述參考特征圖的候選特征圖；第五獲取模塊，用于根據(jù)所有所述候選特征圖，獲取所述目標(biāo)物體的關(guān)鍵點(diǎn)信息。

根據(jù)本公開的又一方面，提供了一種電子設(shè)備，包括：至少一個(gè)處理器；以及與所述至少一個(gè)處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行上述實(shí)施例的關(guān)鍵點(diǎn)的識別方法。

根據(jù)本公開的再一方面，提供了一種存儲有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行上述實(shí)施例的關(guān)鍵點(diǎn)的識別方法。

根據(jù)本公開的還一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1-8中任一項(xiàng)所述的關(guān)鍵點(diǎn)的識別方法。

本發(fā)明的實(shí)施例，至少具有如下附加的技術(shù)效果：