[發明專利]用于估計對象的姿勢和姿態信息的系統和方法

有效

• 申請號: 202010015816.7
• 申請日: 2020-01-07
• 公開（公告）號: CN111414797B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 曾俊諺
• 申請（專利權）人: 一元精靈有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/82;G06N3/0464
• 代理公司: 深圳永慧知識產權代理事務所(普通合伙) 44378
• 代理人: 宋鷹武

1.一種用于估計對象的姿勢和姿態信息的系統，所述系統包括：

移動捕獲設備，所述移動捕獲設備用于連續捕獲位于虛擬空間內或在虛擬空間內自由移動的所述對象的圖像和/或視頻數據；

一個或多個處理單元，所述一個或多個處理單元用于從所述移動捕獲設備獲得所述圖像和/或視頻數據，并執行用于所述圖像和/或視頻數據的自動化處理的一個或多個機器學習算法，以：

提取和學習所述對象的基本卷積特征，以基于學習到的基本卷積特征來識別所述對象的具體特征；所述具體特征是所述對象的身體部位；所述基本卷積特征包括：基本特征，所述基本特征包括所述對象在所述虛擬空間中的點、線和圓；或者是平面區塊或復合特征；并且其中，身體部位選自鼻部、頸部、右肩部、右肘部、右腕部、左肩部、左肘部、左腕部、右臀部、右膝蓋、右腳踝、左臀部、左膝蓋、左腳踝或腹股溝；

基于所述對象的具體特征來估計所述對象的姿勢，其中，估計所述對象的姿勢包括根據所述對象的給定圖像來估計身體部位信息，并且其中，所述姿勢包括：身體部位類型、關于所述給定圖像上的位置的x軸和y軸坐標；

基于所估計的姿勢，生成所述對象的所述具體特征的抽象人體模型；并且

根據所述抽象人體模型中包括的所述具體特征，估計所述對象的姿態；

其中，生成所述對象的所述抽象人體模型包括：

將每個身體部位與預定義的抽象身體部位耦合；

基于所耦合的身體部位，增補所述對象的多個缺失的單個身體部位和耦合身體部位；并且

通過將所增補的缺失部位與所耦合的身體部位連接，構建表示所述對象的估計姿態的所述對象的骨架表示；并且

其中，所捕獲的視頻數據是無約束視頻數據，并且所述視頻數據包括多個幀；并且

其中，所述抽象人體模型包括每個身體部位的信息，連同每個幀中身體部位之間的空間約束，以及貫穿多個幀的時間一致性。

2.根據權利要求1所述的系統，其中，提取所述基本卷積特征是實時執行的，并且其中，對記錄的視頻序列和/或實況視頻序列執行所述基本卷積特征的提取，并且其中，所述一個或多個處理單元實施包括深度卷積神經網絡的一個或多個機器學習算法以提取所述基本卷積特征。

3.根據權利要求2所述的系統，其中，捕獲的視頻數據是不受約束的，其中，所述視頻數據是作為基線的RGB圖像，并且與包括深度圖像或熱圖像或磁圖像或超聲圖像、慣性圖像的一個或多個圖像追蹤維度相組合。

4.根據權利要求1所述的系統，其中，所述移動捕獲設備是具有至少一個數碼相機的移動終端，并且所述一個或多個處理單元包括在執行用于所述圖像和/或視頻數據的自動化處理的所述一個或多個機器學習算法的移動捕獲設備中。

5.根據權利要求4所述的系統，還包括與所述移動捕獲設備連接的遠程計算設備，并且其中，所述遠程計算設備包括一個或多個處理單元，并且其中，所述圖像和/或視頻數據的所述自動化處理部分地在所述移動捕獲設備中包括的一個或多個處理單元中執行，部分地在所述遠程計算設備中包括的一個或多個處理單元中執行。

6.根據權利要求1所述的系統，其中，所估計的姿勢包括所述對象的位置與定向的結合，并且其中，所估計的姿勢還包括關于所述對象在給定圖像上的位置的z軸坐標。

7.根據權利要求1所述的系統，其中，所述多個缺失的單個身體部位和耦合身體部位的所述增補還包括分析特定身體部位的先前位置和/或預設自由度，所述自由度是指剛性體在三維空間中運動的自由度。

8.根據權利要求1所述的系統，其中，所述一個或多個處理單元還實施一個或多個機器學習算法，以編譯包括在所述對象的所述骨架表示中的姿勢信息，以形成所述骨架表示的2D表示。

9.根據權利要求8所述的系統，其中，所述一個或多個處理單元還實施一個或多個機器學習算法，以通過下述來分析所述估計姿態的所述骨架表示：生成包括關節角度在內的復雜解析特征進行度量比較，以指示所述對象在所述虛擬空間中移動時的特定估計姿態的階段。