[發明專利]一種人體姿態估計方法、裝置、設備及存儲介質

有效

• 申請號: 202010225408.4
• 申請日: 2020-03-26
• 公開（公告）號: CN111291729B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 宮延河;趙晨
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06T7/50;G06V40/20;G06V10/82;G06N3/0464
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本申請公開了一種人體姿態估計方法、裝置、設備及存儲介質，涉及計算機技術領域，尤其涉及圖像處理技術領域。具體實現方案為：將待估計圖片輸入預先訓練出的深度學習網絡，獲得所述深度學習網絡輸出的所述待估計圖片對應的深度圖和各肢體部位分別對應的關鍵點熱力圖；根據各所述關鍵點熱力圖確定各所述肢體部位的關鍵點的二維信息，根據所述深度圖確定所述關鍵點的深度信息；將所述關鍵點的二維信息和深度信息，作為人體姿態估計結果進行輸出。通過深度學習網絡輸出深度圖和關鍵點熱力圖，根據深度圖和關鍵點熱力圖獲得包括二維信息和深度信息的三維信息，實現對人體姿態的全面了解，提高人體姿態估計的精確性。

技術領域

本申請涉及計算機技術，尤其涉及圖像處理領域，具體涉及一種人體姿態估計方法、裝置、設備及存儲介質。

背景技術

人體姿態估計是指對于給定的一幅圖像或一段視頻，定位人體關鍵點，從而得到圖像或視頻中人體的姿態。

現有技術中，通過深度學習模型獲得圖片中人物的人體關鍵點信息，該人體關鍵點信息包括人體關鍵點的二維坐標。若需要獲得人體關鍵點的深度信息，則需要采用TOF(Time?of?Flight，紅外景深傳感器)、結構光或雙目成像方法得到人體關鍵點的深度信息。

然而，現有技術中獲得人體關鍵點的深度信息所采用的方法，成本高且效率低。

發明內容

本申請實施例提供了一種人體姿態估計方法、裝置、設備及存儲介質，以提高人體姿態估計的效率，并降低成本。

第一方面，本申請實施例公開了一種人體姿態估計方法，該方法包括：

將待估計圖片輸入預先訓練出的深度學習網絡，獲得所述深度學習網絡輸出的所述待估計圖片對應的深度圖和各肢體部位分別對應的關鍵點熱力圖；

根據各所述關鍵點熱力圖確定各所述肢體部位的關鍵點的二維信息，根據所述深度圖確定所述關鍵點的深度信息；

將所述關鍵點的二維信息和深度信息，作為人體姿態估計結果進行輸出。

上述申請中的一個實施例具有如下優點或有益效果：通過深度學習網絡輸出待估計圖片的深度圖和關鍵點熱力圖，根據深度圖和關鍵點熱力圖獲得包括關鍵點二維信息和深度信息的三維信息，實現對人體姿態的全面了解，無需通過外部設備獲得深度信息，節約了人體姿態估計的時間和成本，提高了人體姿態估計的效率。

另外，根據本申請上述實施例的圖像超分辨模型的訓練方法，還可以具有如下附加的技術特征：

可選的，待估計圖片中包含多個人物；

所述方法還包括：

根據所述深度圖將各所述肢體部位的關鍵點進行分組；

相應的，將所述關鍵點的二維信息和深度信息，作為人體姿態估計結果進行輸出，包括：

根據分組結果，將位于同一分組的關鍵點確定為同一人物的關鍵點，并將各人物的關鍵點的二維信息和深度信息，作為對應人物的人體姿態估計結果進行輸出。

上述申請中的一個實施例具有如下優點或有益效果：對于存在多個人物的待估計圖片，通過深度圖將各肢體部位的關鍵點進行分組，根據分組結果將人物進行劃分，無需將待估計圖片裁剪為多個人物子圖片后針對各人物子圖片分別進行人體姿態估計，縮短了人體姿態估計的耗時時長，進一步提高了人體姿態估計的效率。

可選的，根據所述深度圖將各所述肢體部位的關鍵點進行分組，包括：

對于各肢體部位對，根據所述深度圖確定當前肢體部位對中一個肢體部位所對應的各關鍵點，與另一肢體部位所對應的各關鍵點之間的匹配關系，并將具有匹配關系的各關鍵點劃分在同一分組中；

其中，各所述肢體部位對包括相鄰的兩個肢體部位。