[發(fā)明專利]一種人體姿態(tài)估計(jì)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010225408.4
• 申請(qǐng)日: 2020-03-26
• 公開（公告）號(hào): CN111291729B
• 公開（公告）日: 2023-09-01
• 發(fā)明（設(shè)計(jì)）人: 宮延河;趙晨
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06T7/50;G06V40/20;G06V10/82;G06N3/0464
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種人體姿態(tài)估計(jì)方法，其特征在于，所述方法包括：

將待估計(jì)圖片輸入預(yù)先訓(xùn)練出的深度學(xué)習(xí)網(wǎng)絡(luò)，獲得所述深度學(xué)習(xí)網(wǎng)絡(luò)輸出的所述待估計(jì)圖片對(duì)應(yīng)的深度圖和各肢體部位分別對(duì)應(yīng)的關(guān)鍵點(diǎn)熱力圖；

根據(jù)各所述關(guān)鍵點(diǎn)熱力圖確定各所述肢體部位的關(guān)鍵點(diǎn)的二維信息，根據(jù)所述深度圖確定所述關(guān)鍵點(diǎn)的深度信息；

將所述關(guān)鍵點(diǎn)的二維信息和深度信息，作為人體姿態(tài)估計(jì)結(jié)果進(jìn)行輸出；

所述待估計(jì)圖片中包含多個(gè)人物；

所述深度學(xué)習(xí)網(wǎng)絡(luò)還輸出各肢體部位對(duì)分別對(duì)應(yīng)的關(guān)鍵點(diǎn)連接關(guān)系熱力圖；其中，各所述肢體部位對(duì)包括相鄰的兩個(gè)肢體部位；

所述方法還包括：

根據(jù)各所述關(guān)鍵點(diǎn)連接關(guān)系熱力圖將各所述肢體部位的關(guān)鍵點(diǎn)進(jìn)行分組和/或根據(jù)所述深度圖將各所述肢體部位的關(guān)鍵點(diǎn)進(jìn)行分組；

相應(yīng)的，將所述關(guān)鍵點(diǎn)的二維信息和深度信息，作為人體姿態(tài)估計(jì)結(jié)果進(jìn)行輸出，包括：

根據(jù)分組結(jié)果，將位于同一分組的關(guān)鍵點(diǎn)確定為同一人物的關(guān)鍵點(diǎn)，并將各人物的關(guān)鍵點(diǎn)的二維信息和深度信息，作為對(duì)應(yīng)人物的人體姿態(tài)估計(jì)結(jié)果進(jìn)行輸出。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述深度圖將各所述肢體部位的關(guān)鍵點(diǎn)進(jìn)行分組，包括：

對(duì)于各肢體部位對(duì)，根據(jù)所述深度圖確定當(dāng)前肢體部位對(duì)中一個(gè)肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)，與另一肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)之間的匹配關(guān)系，并將具有匹配關(guān)系的各關(guān)鍵點(diǎn)劃分在同一分組中；

其中，各所述肢體部位對(duì)包括相鄰的兩個(gè)肢體部位。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述深度圖確定當(dāng)前肢體部位對(duì)中一個(gè)肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)，與另一肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)之間的匹配關(guān)系，包括：

對(duì)于當(dāng)前肢體部位對(duì)中一個(gè)肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)，根據(jù)所述深度圖，分別確定當(dāng)前關(guān)鍵點(diǎn)與當(dāng)前肢體部位對(duì)中另一肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)之間的深度變化值；確定最小的深度變化值所對(duì)應(yīng)的兩個(gè)關(guān)鍵點(diǎn)，并建立確定的兩個(gè)關(guān)鍵點(diǎn)之間的匹配關(guān)系。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)各所述關(guān)鍵點(diǎn)連接關(guān)系熱力圖將各所述肢體部位的關(guān)鍵點(diǎn)進(jìn)行分組，包括：

對(duì)于各肢體部位對(duì)，根據(jù)當(dāng)前肢體部位對(duì)所對(duì)應(yīng)的關(guān)鍵點(diǎn)連接關(guān)系熱力圖，確定當(dāng)前肢體部位對(duì)中一個(gè)肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)，與另一肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)之間的匹配關(guān)系，并將具有匹配關(guān)系的各關(guān)鍵點(diǎn)劃分在同一分組中。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，根據(jù)當(dāng)前肢體部位對(duì)所對(duì)應(yīng)的關(guān)鍵點(diǎn)連接關(guān)系熱力圖，確定當(dāng)前肢體部位對(duì)中一個(gè)肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)，與另一肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)之間的匹配關(guān)系，包括：

對(duì)于當(dāng)前肢體部位對(duì)中一個(gè)肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)，根據(jù)當(dāng)前肢體部位對(duì)所對(duì)應(yīng)的關(guān)鍵點(diǎn)連接關(guān)系熱力圖，分別確定當(dāng)前關(guān)鍵點(diǎn)與當(dāng)前肢體部位對(duì)中另一肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)之間的熱力累加值；確定最大的熱力累加值所對(duì)應(yīng)的兩個(gè)關(guān)鍵點(diǎn)，并建立確定的兩個(gè)關(guān)鍵點(diǎn)之間的匹配關(guān)系。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，根據(jù)當(dāng)前肢體部位對(duì)所對(duì)應(yīng)的關(guān)鍵點(diǎn)連接關(guān)系熱力圖，確定當(dāng)前肢體部位對(duì)中一個(gè)肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)，與另一肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)之間的匹配關(guān)系，包括：

對(duì)于當(dāng)前肢體部位對(duì)中一個(gè)肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)，根據(jù)當(dāng)前肢體部位對(duì)所對(duì)應(yīng)的關(guān)鍵點(diǎn)連接關(guān)系熱力圖，分別確定當(dāng)前關(guān)鍵點(diǎn)與當(dāng)前肢體部位對(duì)中另一肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)之間的熱力累加值，并篩選出超過第一閾值的熱力累加值所對(duì)應(yīng)的關(guān)鍵點(diǎn)對(duì)后放入第一列表；以及，根據(jù)所述深度圖，分別確定當(dāng)前關(guān)鍵點(diǎn)與當(dāng)前肢體部位對(duì)中另一肢體部位所對(duì)應(yīng)的各關(guān)鍵點(diǎn)之間的深度變化值，并篩選出低于第二閾值的深度變化值所對(duì)應(yīng)的關(guān)鍵點(diǎn)對(duì)后放入第二列表；

基于所述第一列表和所述第二列表構(gòu)建二分圖；

采用二分圖匹配算法，確定所述二分圖中關(guān)鍵點(diǎn)之間的匹配關(guān)系。