[發明專利]基于反向動力學的人體模型姿態預測方法

有效

• 申請號: 202010120944.8
• 申請日: 2020-02-26
• 公開（公告）號: CN111445475B
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 劉燁斌;蘇肇祺;于濤;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06T7/90;G06T17/00;G06T3/40;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王艷斌

1.一種基于反向動力學的人體模型姿態預測方法，其特征在于，包括以下步驟：

S1，通過單RGB相機采集單個人體運動的RGB圖像序列，對所述RGB圖像序列中的每一幀圖像進行前背景分割，得到人體分割圖，再利用單RGB估計人體模板的方法對每一幀圖像估計人體姿態；

S2，將所述人體姿態中的軸角分量參數作為廣義坐標，對每個軸角分量參數在時間上的分布作為輸入，進行時間上的樣條插值，從而獲得每個軸角分量參數在時間上的連續函數；

S3，根據所述人體姿態，通過人體級聯骨架模型姿態的軸角分量值，計算人體各個組分的質元位移；

S4，對每一幀圖像在所述連續函數上做采樣，采樣結果代入所述人體各個組分的質元位移，通過數值求導的方式獲得質元位移的二階導數；

S5，通過對人體標準姿態模板三維模型做體積采樣，獲得人體每個組分的組分質量；

S6，通過所述質元位移的二階導數、所述人體每個組分的組分質量，以及質元位移對于軸角分量的偏導，獲得每個軸角分量在每一幀對應的廣義力值；

S7，利用數據集獲得不同運動、不同場景下的廣義力隨時間的分布，利用所述分布訓練神經網絡，以使訓練后的所述神經網絡通過現有幀的廣義力值，推斷后續幀的廣義力值；

S8，將采集的所述RGB圖像序列中的現有幀輸入訓練后神經網絡，得到后續幀的廣義力值；

S9，利用所述后續幀的廣義力值和所述人體每個組分的組分質量，用動力學方程計算后續幀的模型參數，完成人體模型姿態預測；

S10，將預測結果和所述人體姿態中的軸角分量參數作為輸入，進行人體三維模型渲染，完成結果輸出。

2.根據權利要求1所述的基于反向動力學的人體模型姿態預測方法，其特征在于，所述S1進一步包括：

S11，通過單個RGB相機采集單個人體運動的所述RGB圖像序列；

S12，對所述RGB圖像序列中的每一幀圖像進行前背景分割，得到人體分割圖M；

S13，將所述人體分割圖M和每一幀圖像作為輸入，使用單RGB圖像估計人體姿態和體型的方法得到基于骨架蒙皮人體模板的所述人體姿態，所述人體姿態包括各個關節軸角分量q(t)和體型S(t)的信息。

3.根據權利要求1所述的基于反向動力學的人體模型姿態預測方法，其特征在于，所述S2進一步包括：

對每一幀圖像中的每個軸角分量q_i(t)，以幀數t為自變量，對軸角分量q_i(t)進行三次樣條插值，得到軸角分量q_i在時間上分布的連續函數spl_i(t)，spl_i(t)函數每一個i作為向量的第i個分量，得到

4.根據權利要求1所述的基于反向動力學的人體模型姿態預測方法，其特征在于，所述S3進一步包括：

使用人體模板的骨架旋轉定義，計算出人體各個組分的質元位移其中，T_i(q)是將模型軸角分量轉化成全局坐標下的旋轉矩陣結果，是體型S下人體各個組分的質元位移。

5.根據權利要求1所述的基于反向動力學的人體模型姿態預測方法，其特征在于，所述S4進一步包括：對于每一幀t，取

通過數值求導方法，在所述連續函數下采樣，得到人體各個組分質元位移關于時間的二階導數

6.根據權利要求1所述的基于反向動力學的人體模型姿態預測方法，其特征在于，所述S5進一步包括：

在人體標準姿態模板三維模型下，通過對全空間均勻采樣三維點，統計每個人體組分占據的三維點數量n_i，以人體總質量為單位1，得到人體每個組分的質量

7.根據權利要求1所述的基于反向動力學的人體模型姿態預測方法，其特征在于，所述S6進一步包括：利用動力學公式，每個軸角分量q_k對應的廣義力為：

其中，為質元位移關于軸角分量的偏導值：

8.根據權利要求1所述的基于反向動力學的人體模型姿態預測方法，其特征在于，所述S9進一步包括：

使用所述后續幀的廣義力值Q_next推導后續幀的模型參數，設定當前幀廣義力為Q，通過求解最小能量得到當前幀質元二階導再通過求解運動學方程得到下一幀的模型參數q，進而得到所述后續幀的模型參數。