[發明專利]一種人體位姿估計系統和方法

在審

• 申請號: 202110786876.3
• 申請日: 2021-07-12
• 公開（公告）號: CN113487674A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 王朋強;杜華;王語堂;岳宗
• 申請（專利權）人: 北京未來天遠科技開發有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/246;G06K9/00;G06K9/46
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種人體位姿估計系統和方法，其特征在于，通過運動捕捉裝置獲得至少一個圖像采集傳感器獲取的圖像序列，具體包括如下步驟：

1)人物目標檢測，對每幀圖像進行人物檢測，得到圖像上人體關鍵點的2D特征點集和人體區域；

2)人體跟蹤計算，對圖像序列中的人體進行編號，保證所有圖像幀中同一個人物編號一致；

3)人體運動姿態計算，利用單幀圖像對人體3D模型和運動姿態進行回歸計算，得到人體模型和各關節的空間姿態角；

4)人體定位計算，對檢測到的人物進行空間定位計算，獲取人體各關節在所述運動捕捉裝置坐標系下的3D坐標；

5)自定位計算，利用采集圖像傳感器在空間不同視點下采集的多幀圖像進行空間自定位計算，獲取所述運動捕捉裝置在地面坐標系中的位姿，包括3D坐標以及姿態角；

6)人體定位轉換，利用所述運動捕捉裝置在地面坐標系中的位姿將人體空間位姿從運動捕捉裝置坐標系下轉換到地面坐標系中。

2.根據權利要求1所述的方法，其特征在于，所述人體定位計算，利用已知人物的身高尺寸和所述人體運動姿態計算獲取的人體3D模型和各關節的空間姿態，即可求取人體各關節在所述運動捕捉裝置坐標系下的3D坐標。

3.根據權利要求1所述的方法，其特征在于，將圖像中檢測到的人物剔除，減少對所述自定位計算的干擾。

4.根據權利要求1所述的方法，其特征在于，步驟5)中提取圖像場景中的自然紋理特征2D點集，采用SFM原理進行所述自定位計算。

5.根據權利要求1所述的方法，其特征在于，步驟5)中使用所述人體關節點的2D特征點集和所述人體各關節3D坐標，進行所述自定位計算。

6.根據權利要求1所述的方法，其特征在于，步驟5)中圖像場景中固定布置一種或幾種標志點或標記圖案，提供特征信息用于所述自定位計算。

7.根據權利要求1所述的方法，其特征在于，步驟5)中圖像人體上相對固定布置一種或幾種空間幾何形狀和尺寸已知的標志點或標記圖案，用于輔助求取人體各關節在所述運動捕捉裝置坐標系下的3D坐標。

8.根據權利要求1所述的方法，其特征在于，步驟5)中圖像場景中固定布置一種或幾種空間幾何形狀和尺寸已知的標志點或標記圖案，用于自定位計算時作為參照計算尺度因子。

9.根據權利要求1所述的方法，其特征在于，步驟6)中采用所述運動捕捉裝置上的一種或多種慣性傳感器，提供位姿信息，實現自定位計算。

10.根據權利要求1所述的方法，其特征在于，步驟6)中采用所述運動捕捉裝置上的一種或多種深度圖像傳感器，通過3D特征配至統一坐標系，實現自定位計算。

11.實施權利要求1所述方法的人體位姿運動捕捉系統，其特征在于，包括：

1)運動捕捉裝置，此裝置包括至少一個圖像采集傳感器，所述運動捕捉裝置通過所述圖像采集傳感器提供圖像；

2)人物目標檢測器，用于對所述運動捕捉裝置采集的圖像中的人物進行檢測，得到圖像中人體關節點的2D特征點集和人體區域；

3)人體跟蹤計算器，用對所述人物目標檢測器得到的人體進行跟蹤編號；

4)人體運動姿態計算器，用于對所述人體目標檢測器檢測到的人物進行運動姿態計算，得到人體各個關節的空間姿態角；

5)人體定位計算器，用于對所述人體目標檢測器檢測到的人物進行空間定位，即，計算人體各關節在所述運動捕捉裝置坐標系下的3D坐標；

6)自定位計算器，用于所述運動捕捉裝置自身的定位計算，即，計算所述運動捕捉裝置在地面坐標系中的3D坐標以及姿態角；

7)人體定位轉換器，用于將人體空間位姿從運動捕捉裝置坐標系下轉換到地面坐標系中。

12.根據權利要求11所述的系統，其特征在于，還包括一種用于交換數據的無線通信裝置。