[發(fā)明專利]關(guān)鍵點(diǎn)定位方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911044546.6
• 申請(qǐng)日: 2019-10-30
• 公開(kāi)（公告）號(hào): CN110807410B
• 公開(kāi)（公告）日: 2022-09-06
• 發(fā)明（設(shè)計(jì)）人: 沈輝;高原;張演龍;孫昊;劉霄;文石磊;丁二銳
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/46;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京市鑄成律師事務(wù)所 11313
• 代理人: 楊瑾瑾;王一

本申請(qǐng)公開(kāi)了關(guān)鍵點(diǎn)定位方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，涉及關(guān)鍵點(diǎn)檢測(cè)領(lǐng)域。具體實(shí)現(xiàn)方案為：關(guān)鍵點(diǎn)定位方法，包括：獲取當(dāng)前幀包括的至少一個(gè)手部區(qū)域；利用關(guān)鍵點(diǎn)檢測(cè)模型對(duì)當(dāng)前幀的各手部區(qū)域進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，得到當(dāng)前幀的各手部區(qū)域包括的各關(guān)鍵點(diǎn)的預(yù)測(cè)位置；對(duì)當(dāng)前幀的各手部區(qū)域包括的各關(guān)鍵點(diǎn)的預(yù)測(cè)位置進(jìn)行平滑處理，得到當(dāng)前幀的各關(guān)鍵點(diǎn)的定位結(jié)果。本申請(qǐng)?jiān)诶藐P(guān)鍵點(diǎn)檢測(cè)模型檢測(cè)得到當(dāng)前幀的各手部區(qū)域包括的各關(guān)鍵點(diǎn)后，通過(guò)對(duì)各手部區(qū)域包括的各關(guān)鍵點(diǎn)的預(yù)測(cè)位置進(jìn)行平滑處理，得到當(dāng)前幀的各關(guān)鍵點(diǎn)的定位結(jié)果，有利于減少抖動(dòng)，提高模型輸出結(jié)果的穩(wěn)定性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖像處理領(lǐng)域，尤其涉及關(guān)鍵點(diǎn)檢測(cè)領(lǐng)域。

背景技術(shù)

人手相比于人臉這種具有顯著特征的部位來(lái)說(shuō)，其檢測(cè)定位是一個(gè)比較難的問(wèn)題。人手的靈活度較高，其形態(tài)也是千變?nèi)f化。相比于人臉具有眼鏡、鼻子、嘴角和耳朵這些相對(duì)位置非常穩(wěn)定的顯著特征，人手姿態(tài)的分布空間更加龐大。另外人手經(jīng)常出現(xiàn)遮擋，包括其他物體的遮擋和自遮擋，這會(huì)導(dǎo)致人手的一部分在圖像中是不可見(jiàn)的。另外不同的人的手也存在個(gè)體上的差異，加上拍攝環(huán)境的差異，人手姿態(tài)的分布空間指數(shù)增長(zhǎng)。

目前人手關(guān)鍵點(diǎn)檢測(cè)定位首先在圖像中搜索人手區(qū)域，對(duì)每一塊圖像區(qū)域進(jìn)行分類，鑒別其是否為人手。然后利用RGB(Red Green Blue,三通道)彩色圖像/RGB-D(RGB-DepthMap，RGB深度)圖像，對(duì)可能是人手的區(qū)域進(jìn)行人手關(guān)鍵點(diǎn)檢測(cè)，輸出最終的關(guān)鍵點(diǎn)檢測(cè)結(jié)果。

目前人手關(guān)鍵點(diǎn)檢測(cè)，一般使用較大的模型來(lái)保證檢測(cè)效果，計(jì)算量非常巨大，需要高性能顯卡來(lái)加速。例如使用移動(dòng)端GPU(Graphics Processing Unit，圖形處理器)資源。但是目前擁有GPU的移動(dòng)設(shè)備非常少，所以在沒(méi)有GPU的設(shè)備上難以部署。由于需要對(duì)處理每幀都進(jìn)行人手檢測(cè)和關(guān)鍵點(diǎn)檢測(cè)，計(jì)算量大。在進(jìn)行人手檢測(cè)時(shí)，由于檢測(cè)器性能受限于計(jì)算資源，容易造成許多誤檢。此外，人手關(guān)鍵點(diǎn)檢測(cè)模型輸出的結(jié)果存在比較嚴(yán)重的抖動(dòng)，會(huì)給下一步的應(yīng)用造成困難。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種關(guān)鍵點(diǎn)定位方法，包括：

獲取當(dāng)前幀包括的至少一個(gè)手部區(qū)域；

利用關(guān)鍵點(diǎn)檢測(cè)模型對(duì)當(dāng)前幀的各手部區(qū)域進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，得到當(dāng)前幀的各手部區(qū)域包括的各關(guān)鍵點(diǎn)的預(yù)測(cè)位置；

對(duì)當(dāng)前幀的各手部區(qū)域包括的各關(guān)鍵點(diǎn)的預(yù)測(cè)位置進(jìn)行平滑處理，得到當(dāng)前幀的各關(guān)鍵點(diǎn)的定位結(jié)果。

本申請(qǐng)?jiān)诶藐P(guān)鍵點(diǎn)檢測(cè)模型檢測(cè)得到當(dāng)前幀的各手部區(qū)域包括的各關(guān)鍵點(diǎn)后，通過(guò)對(duì)各手部區(qū)域包括的各關(guān)鍵點(diǎn)的預(yù)測(cè)位置進(jìn)行平滑處理，得到當(dāng)前幀的各關(guān)鍵點(diǎn)的定位結(jié)果，有利于減少抖動(dòng)，提高模型輸出結(jié)果的穩(wěn)定性。

在一種實(shí)施方式中，獲取當(dāng)前幀包括的至少一個(gè)手部區(qū)域，包括：

在無(wú)需更新手部區(qū)域的情況下，利用跟蹤算法獲取當(dāng)前幀包括的至少一個(gè)手部區(qū)域。

在一種實(shí)施方式中，利用跟蹤算法獲取當(dāng)前幀包括的至少一個(gè)手部區(qū)域，包括：

獲取當(dāng)前幀的前一幀的至少一個(gè)手部區(qū)域；

對(duì)前一幀的各手部區(qū)域進(jìn)行擴(kuò)大處理，得到當(dāng)前幀的各手部區(qū)域。

上述實(shí)施方式中，利用跟蹤算法可以從當(dāng)前幀中快速截取可能屬于手部的部分圖像區(qū)域。由于無(wú)需對(duì)當(dāng)前幀進(jìn)行全圖掃描，因此，可以減少手部區(qū)域檢測(cè)的運(yùn)算量，提高檢測(cè)速度。

在一種實(shí)施方式中，該方法還包括：

在需要更新手部區(qū)域的情況下，利用手部區(qū)域檢測(cè)模型對(duì)當(dāng)前幀進(jìn)行手部檢測(cè)，手部區(qū)域檢測(cè)模型是根據(jù)輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型、特征金字塔網(wǎng)絡(luò)模型和目標(biāo)檢測(cè)模型得到的。