[發明專利]一種人體位姿估計系統和方法

在審

• 申請號: 202110786876.3
• 申請日: 2021-07-12
• 公開（公告）號: CN113487674A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 王朋強;杜華;王語堂;岳宗
• 申請（專利權）人: 北京未來天遠科技開發有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/246;G06K9/00;G06K9/46
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種人體位姿估計系統和方法，使用一個或者多個圖像采集器采集圖像數據，獲取其中的人體位姿，同時輸出地面坐標系下的人體位姿。得到的人體姿態和位置可以用來控制機器人或數字人等，可用于虛擬現實VR、增強現實AR以及電影特效等，回歸和迭代優化相結合提高精度以及迭代優化速度。本發明采用回歸和迭代優化相結合的方式，大大提高人體姿態估計精度，縮短了迭代優化執行時間；同時通過跟蹤可以將獲取多人的人體姿態數據，保證連續性，人體姿態和人物一一對應；在僅使用一個光學成像傳感器的情況下就可以計算出人體的位置信息。

技術領域

本發明屬于運動捕捉技術領域，具體涉及一種人體位姿估計系統和方法。

背景技術

人體的動作和位置信息可應用于很多場景中，它的應用領域非常廣泛。這些應用領域包括例如：影視游戲中CG人物的動作；體感游戲中用戶和游戲場景中物品人物的動作交互；增強現實AR中用戶和虛擬目標的交互。

運動捕捉技術是由運動捕捉系統利用外部設備來對人體動作姿態和人體位移進行捕獲轉換為數字數據。運動捕捉系統有多種技術實現，現在使用比較多的包括：慣性動作捕捉技術，需要人體穿戴配備慣性傳感器的衣服；光學式動作捕捉技術，通過圖像采集器采集數據進行處理，其往往需要人體穿戴帶有反光標識點衣服，而且容易受環境光照影響。

通過圖像采集器直接進行人體姿態估計技術也是其中一種技術。根據原理不同可將姿態進行估計，現在分為基于優化的姿態估計方法(Federica Bogo,Angjoo Kanazawa,Christoph Lassner,Peter Gehler,Javier Romero,and Michael J.Black.Keep itsmpl:Automatic estimation of 3d human pose and shape from a single image.InECCV,2016)和基于回歸的姿態估計方法(Angjoo Kanazawa,Michael J Black,David WJacobs,and Jitendra Malik.End-to-end recovery of human shape and pose.InCVPR,2018)。但是這些方法都只能估計姿態不能計算出位置信息，并且只能輸出圖像中所有人體的姿態，無法區分姿態和圖像中具體人物一一對應。

基于回歸的姿態估計方法獲取的姿態不夠精確，尤其對于臉部有遮擋或者背對相機的人體姿態估計會有正反不分的情況。而基于優化的姿態估計方法往往需要多次迭代，單次估計時間過長，同時這些方法只能估計姿態不能確定位置信息。

發明內容

獲得人體姿態并通過運動捕捉裝置在地面坐標系中的位姿，將人體位姿變換到地面坐標系對于人體位姿數據之后的使用是非常有益的，而且通過對人體進行跟蹤可以保證圖像序列中同一個人物前后編號一直，同時可以把人體姿態數據和圖像中人體一一對應，對于場景中有多人的情況可以很好的兼容。

本發明的目的之一是提供一種人體位姿估計方法，通過運動捕捉裝置獲得至少一個圖像采集傳感器獲取的圖像序列，具體包括如下步驟：

1)人物目標檢測，對每幀圖像進行人物檢測，得到圖像上人體關鍵點的2D特征點集和人體區域；

2)人體跟蹤計算，對圖像序列中的人體進行編號，保證所有圖像幀中同一個人物編號一致；

3)人體運動姿態計算，利用單幀圖像對人體3D模型和運動姿態進行回歸計算，得到人體模型和各關節的空間姿態角；

4)人體定位計算，對檢測到的人物進行空間定位計算，獲取人體各關節在所述運動捕捉裝置坐標系下的3D坐標；

5)自定位計算，利用采集圖像傳感器在空間不同視點下采集的多幀圖像進行空間自定位計算，獲取所述運動捕捉裝置在地面坐標系中的位姿，包括3D坐標以及姿態角；