[發(fā)明專利]手部關(guān)鍵點(diǎn)檢測(cè)方法、裝置、設(shè)備和介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110236032.1
• 申請(qǐng)日: 2021-03-03
• 公開(kāi)（公告）號(hào): CN112966592A
• 公開(kāi)（公告）日: 2021-06-15
• 發(fā)明（設(shè)計(jì)）人: 楊黔生;沈輝;王健;丁二銳
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市漢坤律師事務(wù)所 11602
• 代理人: 姜浩然;吳麗麗

1.一種手部關(guān)鍵點(diǎn)檢測(cè)方法，包括：

將待檢測(cè)圖像輸入第一子模型，以獲取第一子模型輸出的第一預(yù)測(cè)結(jié)果和第一特征圖，其中，所述待檢測(cè)圖像包括手部，所述第一預(yù)測(cè)結(jié)果表征所述手部的至少一個(gè)關(guān)鍵點(diǎn)中的每一個(gè)關(guān)鍵點(diǎn)的初步預(yù)測(cè)位置；

基于所述第一預(yù)測(cè)結(jié)果，從所述第一特征圖中獲取第一關(guān)鍵點(diǎn)特征，所述第一關(guān)鍵點(diǎn)特征包括與所述每一個(gè)關(guān)鍵點(diǎn)分別對(duì)應(yīng)的特征；

基于所述第一預(yù)測(cè)結(jié)果，從所述待檢測(cè)圖像中獲取第二關(guān)鍵點(diǎn)特征，所述第二關(guān)鍵點(diǎn)特征包括與所述每一個(gè)關(guān)鍵點(diǎn)分別對(duì)應(yīng)的特征；

將所述第一關(guān)鍵點(diǎn)特征和所述第二關(guān)鍵點(diǎn)特征輸入第二子模型，以獲取所述第二子模型輸出的第二預(yù)測(cè)結(jié)果，其中，所述第二預(yù)測(cè)結(jié)果表征對(duì)所述每一個(gè)關(guān)鍵點(diǎn)的初步預(yù)測(cè)位置的修正；以及

結(jié)合所述第一預(yù)測(cè)結(jié)果和所述第二預(yù)測(cè)結(jié)果，以得到手部關(guān)鍵點(diǎn)檢測(cè)結(jié)果。

2.如權(quán)利要求1所述的手部關(guān)鍵點(diǎn)檢測(cè)方法，其中，所述第一關(guān)鍵點(diǎn)特征還包括基于所述每一個(gè)關(guān)鍵點(diǎn)的初步預(yù)測(cè)位置的所述手部的結(jié)構(gòu)信息。

3.如權(quán)利要求2所述的手部關(guān)鍵點(diǎn)檢測(cè)方法，其中，所述第二子模型為圖卷積神經(jīng)網(wǎng)絡(luò)，

其中，所述將所述第一關(guān)鍵點(diǎn)特征和所述第二關(guān)鍵點(diǎn)特征輸入第二子模型包括：

基于所述第一關(guān)鍵點(diǎn)特征和所述第二關(guān)鍵點(diǎn)特征，構(gòu)造第二子模型輸入，所述第二子模型輸入為包括至少一個(gè)節(jié)點(diǎn)和至少一條邊的圖，所述至少一個(gè)節(jié)點(diǎn)與所述手部的至少一個(gè)關(guān)鍵點(diǎn)一一對(duì)應(yīng)，所述至少一個(gè)節(jié)點(diǎn)中的每一個(gè)節(jié)點(diǎn)保存有所述第一關(guān)鍵點(diǎn)特征和所述第二關(guān)鍵點(diǎn)特征各自包括的與該節(jié)點(diǎn)對(duì)應(yīng)的關(guān)鍵點(diǎn)的特征，所述至少一條邊表征所述手部的結(jié)構(gòu)信息。

4.如權(quán)利要求1所述的手部關(guān)鍵點(diǎn)檢測(cè)方法，其中，所述第二關(guān)鍵點(diǎn)特征所包括的與所述每一個(gè)關(guān)鍵點(diǎn)分別對(duì)應(yīng)的特征包括所述待檢測(cè)圖像中與所述每一個(gè)關(guān)鍵點(diǎn)的初步預(yù)測(cè)位置相應(yīng)的區(qū)域的像素值。

5.如權(quán)利要求1所述的手部關(guān)鍵點(diǎn)檢測(cè)方法，其中，所述第一關(guān)鍵點(diǎn)特征所包括的與所述每一個(gè)關(guān)鍵點(diǎn)分別對(duì)應(yīng)的特征包括所述第一特征圖中與所述每一個(gè)關(guān)鍵點(diǎn)的初步預(yù)測(cè)位置相應(yīng)的區(qū)域的像素值。

6.如權(quán)利要求1所述的手部關(guān)鍵點(diǎn)檢測(cè)方法，還包括：

獲取所述第一子模型輸出的不同于第一特征圖的第二特征圖；

基于所述第一預(yù)測(cè)結(jié)果，從所述第二特征圖中獲取第三關(guān)鍵點(diǎn)特征；以及

將所述第一關(guān)鍵點(diǎn)特征、所述第二關(guān)鍵點(diǎn)特征和所述第三關(guān)鍵點(diǎn)特征輸入第二子模型，以獲取所述第二子模型輸出的第二預(yù)測(cè)結(jié)果。

7.如權(quán)利要求1所述的手部關(guān)鍵點(diǎn)檢測(cè)方法，其中，所述第一預(yù)測(cè)結(jié)果為高斯熱圖，所述高斯熱圖包括表征所述手部的至少一個(gè)關(guān)鍵點(diǎn)中的每一個(gè)關(guān)鍵點(diǎn)的初步預(yù)測(cè)位置的多個(gè)熱圖峰值。

8.如權(quán)利要求7所述的手部關(guān)鍵點(diǎn)檢測(cè)方法，其中，所述第一預(yù)測(cè)結(jié)果的尺寸與所述第一特征圖相同，所述第一預(yù)測(cè)結(jié)果的尺寸小于所述待檢測(cè)圖像。

9.如權(quán)利要求1所述的手部關(guān)鍵點(diǎn)檢測(cè)方法，其中，所述第一子模型為卷積神經(jīng)網(wǎng)絡(luò)。