[發明專利]基于反向動力學的人體模型姿態預測方法

有效

• 申請號: 202010120944.8
• 申請日: 2020-02-26
• 公開（公告）號: CN111445475B
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 劉燁斌;蘇肇祺;于濤;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06T7/90;G06T17/00;G06T3/40;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王艷斌

本發明公開了一種基于反向動力學的人體模型姿態預測方法，該方法包括利用人體運動，通過圖像提取人體的姿態信息，并使用多幀求解人體運動信息，從而進行人體三維模擬和模型姿態預測，人體模型姿態模擬方法基于人體模板匹配的方法，根據已有的基于單RGB圖像估計人體模型的方法進行人體姿態和體型求解；模型姿態預測方法基于反向動力學，先求解出已有幀中廣義力參數，再通過神經網絡預測外插方法獲得后續幀廣義力，以及動力學方程求解后續運動。通過計算機視覺和反向動力學方法，可以獲得圖像序列中的人體姿態以及實現姿態預測。

技術領域

本發明涉及計算機視覺技術領域，特別涉及一種基于反向動力學的人體模型姿態預測方法。

背景技術

三維重建在計算機視覺領域中，是目前一個科研、工業、娛樂產業都特別關注的技術。三維重建模型在流媒體、建筑保護、工業制造等領域都有很高的研究和應用價值。而關于人體三維重建和姿態預測方法，由于人體動作姿態分布較為豐富，因此是三維重建和模擬領域的一個較大的難題。現有的人體姿態預測方法大部分是基于表達參數和模型本身的估計，沒有提取出內秉的物理信息。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于反向動力學的人體模型姿態預測方法，該方法利用物理動力學方程，對人物姿態進行動力學分析，并通過人體姿態數據集進行神經網絡訓練，從而實現對人體姿態的預測。

本發明一方面實施例提出了一種基于反向動力學的人體模型姿態預測方法，包括：

S1，通過單RGB相機采集單個人體運動的RGB圖像序列，對所述RGB圖像序列中的每一幀圖像進行前背景分割，得到人體分割圖，再利用單RGB估計人體模板的方法對每一幀圖像估計人體姿態；

S2，將所述人體姿態中的軸角分量參數作為廣義坐標，對每個軸角分量參數在時間上的分布作為輸入，進行時間上的樣條插值，從而獲得每個軸角分量參數在時間上的連續函數；

S3，根據所述人體姿態，通過人體級聯骨架模型姿態的軸角分量值，計算人體各個組分的質元位移；

S4，對每一幀圖像在所述連續函數上做采樣，采樣結果代入所述人體各個組分的質元位移，通過數值求導的方式獲得質元位移的二階導數；

S5，通過對人體標準姿態模板三維模型做體積采樣，獲得人體每個組分的組分質量；

S6，通過所述質元位移的二階導數、所述人體每個組分的組分質量，以及質元位移對于軸角分量的偏導，獲得每個軸角分量在每一幀對應的廣義力值；

S7，利用數據集獲得不同運動、不同場景下的廣義力隨時間的分布，利用所述分布訓練神經網絡，以使訓練后的所述神經網絡通過現有幀的廣義力值，推斷后續幀的廣義力值；

S8，將采集的所述RGB圖像序列中的現有幀輸入訓練后神經網絡，得到后續幀的廣義力值；

S9，利用所述后續幀的廣義力值和所述人體每個組分的組分質量，用動力學方程計算后續幀的模型參數，完成人體模型姿態預測；

S10，將預測結果和所述人體姿態中的軸角分量參數作為輸入，進行人體三維模型渲染，完成結果輸出。

本發明實施例的基于反向動力學的人體模型姿態預測方法，利用人體運動，通過圖像提取人體的姿態信息，并使用多幀求解人體運動信息，從而進行人體三維模擬和模型姿態預測。人體模型姿態模擬方法基于人體模板匹配的方法，根據已有的基于單RGB圖像估計人體模型的方法進行人體姿態和體型求解；模型姿態預測方法基于反向動力學，先求解出已有幀中廣義力參數，再通過神經網絡預測外插方法獲得后續幀廣義力，以及動力學方程求解后續運動。本發明通過計算機視覺和反向動力學方法，可以獲得圖像序列中的人體姿態以及實現姿態預測。