[發(fā)明專利]關(guān)鍵點(diǎn)檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010622135.7
• 申請(qǐng)日: 2020-06-30
• 公開(kāi)（公告）號(hào): CN111898642B
• 公開(kāi)（公告）日: 2021-08-13
• 發(fā)明（設(shè)計(jì)）人: 金晟;劉文韜;錢(qián)晨
• 申請(qǐng)（專利權(quán)）人: 北京市商湯科技開(kāi)發(fā)有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中知恒瑞知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 王文紅

本公開(kāi)提供了一種關(guān)鍵點(diǎn)檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：獲取待檢測(cè)圖像；基于待檢測(cè)圖像，生成圖像特征圖和多個(gè)關(guān)鍵點(diǎn)熱圖；圖像特征圖用于表征待檢測(cè)圖像中各個(gè)目標(biāo)對(duì)象之間的相對(duì)位置關(guān)系；每個(gè)關(guān)鍵點(diǎn)熱圖中包含待檢測(cè)圖像的一種類別的關(guān)鍵點(diǎn)，不同類別的關(guān)鍵點(diǎn)對(duì)應(yīng)目標(biāo)對(duì)象的不同部位；基于圖像特征圖和多個(gè)關(guān)鍵點(diǎn)熱圖，生成初始關(guān)鍵點(diǎn)圖模型；初始關(guān)鍵點(diǎn)圖模型中包含待檢測(cè)圖像中不同類別的關(guān)鍵點(diǎn)的信息以及連接邊的信息，每個(gè)連接邊為兩個(gè)不同類別的關(guān)鍵點(diǎn)之間的邊；對(duì)初始關(guān)鍵點(diǎn)圖模型進(jìn)行多次連接邊的剪枝處理，直到處理后的關(guān)鍵點(diǎn)圖模型中的多個(gè)關(guān)鍵點(diǎn)被聚類為多個(gè)簇，得到分別屬于各個(gè)目標(biāo)對(duì)象的關(guān)鍵點(diǎn)信息。

技術(shù)領(lǐng)域

本公開(kāi)涉及圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種關(guān)鍵點(diǎn)檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

人體關(guān)鍵點(diǎn)檢測(cè)和跟蹤是視頻分析的基礎(chǔ)，在安防領(lǐng)域、動(dòng)作分析領(lǐng)域具有重要的應(yīng)用前景。自底向上的多人姿態(tài)檢測(cè)技術(shù)，由于具有較高的計(jì)算效率，而被廣泛應(yīng)用。一般的，自底向上方法首先預(yù)測(cè)得到各個(gè)關(guān)鍵點(diǎn)的位置，再對(duì)各個(gè)關(guān)鍵點(diǎn)進(jìn)行聚類，得到完整的人體姿態(tài)。

當(dāng)前的方法中，可以采用圖分割算法或者啟發(fā)式的聚類算法，對(duì)各個(gè)關(guān)鍵點(diǎn)進(jìn)行聚類，聚類過(guò)程只是作為后處理操作，并沒(méi)有直接對(duì)聚類結(jié)果進(jìn)行監(jiān)督，使得關(guān)鍵點(diǎn)聚類過(guò)程的準(zhǔn)確度較低。

發(fā)明內(nèi)容

有鑒于此，本公開(kāi)至少提供一種關(guān)鍵點(diǎn)檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

第一方面，本公開(kāi)提供了一種關(guān)鍵點(diǎn)檢測(cè)方法，包括：

獲取待檢測(cè)圖像；

基于所述待檢測(cè)圖像，生成圖像特征圖和多個(gè)關(guān)鍵點(diǎn)熱圖；所述圖像特征圖用于表征所述待檢測(cè)圖像中各個(gè)目標(biāo)對(duì)象之間的相對(duì)位置關(guān)系；每個(gè)所述關(guān)鍵點(diǎn)熱圖中包含所述待檢測(cè)圖像的一種類別的關(guān)鍵點(diǎn)，不同類別的關(guān)鍵點(diǎn)對(duì)應(yīng)所述目標(biāo)對(duì)象的不同部位；

基于所述圖像特征圖和多個(gè)所述關(guān)鍵點(diǎn)熱圖，生成初始關(guān)鍵點(diǎn)圖模型；所述初始關(guān)鍵點(diǎn)圖模型中包含所述待檢測(cè)圖像中不同類別的關(guān)鍵點(diǎn)的信息以及連接邊的信息，每個(gè)連接邊為兩個(gè)不同類別的關(guān)鍵點(diǎn)之間的邊；

對(duì)所述初始關(guān)鍵點(diǎn)圖模型進(jìn)行多次所述連接邊的剪枝處理，直到處理后的關(guān)鍵點(diǎn)圖模型中的多個(gè)關(guān)鍵點(diǎn)被聚類為多個(gè)簇，得到分別屬于各個(gè)目標(biāo)對(duì)象的關(guān)鍵點(diǎn)信息。

采用上述方法，可以基于生成的圖像特征圖和多個(gè)關(guān)鍵點(diǎn)熱圖，生成待檢測(cè)圖像對(duì)應(yīng)的初始關(guān)鍵點(diǎn)圖模型，由于初始關(guān)鍵點(diǎn)圖模型中包括圖像特征圖和關(guān)鍵點(diǎn)熱圖中的信息，而圖像特征圖可以表征出待檢測(cè)圖像中不同目標(biāo)對(duì)象之間的相對(duì)位置關(guān)系，從而可以對(duì)初始關(guān)鍵點(diǎn)圖模型進(jìn)行所處連接邊的剪枝處理，得到各個(gè)目標(biāo)對(duì)象的關(guān)鍵點(diǎn)信息，較準(zhǔn)確地對(duì)不同目標(biāo)對(duì)象的關(guān)鍵點(diǎn)進(jìn)行區(qū)分，以提高關(guān)鍵點(diǎn)聚類的精準(zhǔn)度。

一種可能的實(shí)施方式中，所述關(guān)鍵點(diǎn)的信息包括位置信息、類別信息、以及像素特征信息；

根據(jù)以下步驟確定所述初始關(guān)鍵點(diǎn)圖模型中各個(gè)關(guān)鍵點(diǎn)的信息：

基于所述關(guān)鍵點(diǎn)熱圖，確定各個(gè)關(guān)鍵點(diǎn)的位置信息；

基于每個(gè)所述關(guān)鍵點(diǎn)的位置信息，從所述圖像特征圖中提取所述關(guān)鍵點(diǎn)的像素特征信息，并基于所述關(guān)鍵點(diǎn)所屬關(guān)鍵點(diǎn)熱圖的類別標(biāo)簽，確定所述關(guān)鍵點(diǎn)對(duì)應(yīng)的類別信息。

一種可能的實(shí)施方式中，所述方法還包括：

針對(duì)所述初始關(guān)鍵點(diǎn)圖模型中的每個(gè)所述關(guān)鍵點(diǎn)，基于所述關(guān)鍵點(diǎn)的信息和所述關(guān)鍵點(diǎn)圖模型中與所述關(guān)鍵點(diǎn)之間存在連接邊的其他關(guān)鍵點(diǎn)的信息，確定所述關(guān)鍵點(diǎn)的融合特征；

所述對(duì)所述初始關(guān)鍵點(diǎn)圖模型進(jìn)行多次所述連接邊的剪枝處理，包括：

基于所述初始關(guān)鍵點(diǎn)圖模型中包含的每個(gè)所述關(guān)鍵點(diǎn)的融合特征，對(duì)所述初始關(guān)鍵點(diǎn)圖模型進(jìn)行多次所述連接邊的剪枝處理。