[發明專利]動捕數據的處理方法、裝置、設備及存儲介質

有效

• 申請號: 202310318727.3
• 申請日: 2023-03-29
• 公開（公告）號: CN116051699B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 成慶榮;張保成;李卓;葛文浩;付星輝;孫鐘前
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T7/00;G06T7/70
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 張所明

1.一種動捕數據的處理方法，其特征在于，所述方法包括：

對動作視頻中的目標對象進行動捕分析，得到原始視頻動捕數據，所述原始視頻動捕數據包括各個視頻幀中所述目標對象的全局位移數據以及骨骼旋轉數據，所述全局位移數據表征所述目標對象的中心骨骼節點的位移情況；

基于所述動作視頻，對所述目標對象進行腳接地狀態分析，得到各個視頻幀中所述目標對象的腳接地數據，所述腳接地數據表征所述目標對象的腳部接地情況；

基于所述原始視頻動捕數據以及所述腳接地數據，確定所述原始視頻動捕數據的腳部穿模損失以及腳部滑步損失，其中，所述腳部穿模損失表征各個視頻幀中所述目標對象的腳部陷地情況，所述腳部滑步損失表征所述目標對象在腳接地狀態下的腳部滑動情況；

基于所述腳部穿模損失以及所述腳部滑步損失，對所述原始視頻動捕數據進行迭代優化，得到所述目標對象的目標視頻動捕數據。

2.根據權利要求1所述的方法，其特征在于，所述基于所述原始視頻動捕數據以及所述腳接地數據，確定所述原始視頻動捕數據的腳部穿模損失以及腳部滑步損失，包括：

基于所述原始視頻動捕數據，構建所述目標對象的參數化模型，所述參數化模型用于指示所述目標對象的各個骨骼節點在三維坐標空間內的骨骼節點坐標；

基于所述參數化模型，獲取各個視頻幀中所述目標對象的腳部骨骼節點坐標；

基于所述腳部骨骼節點坐標，確定各個視頻幀中的所述腳部穿模損失；

基于所述腳部骨骼節點坐標以及所述腳接地數據，確定所述腳部滑步損失。

3.根據權利要求2所述的方法，其特征在于，所述基于所述腳部骨骼節點坐標，確定各個視頻幀中的所述腳部穿模損失，包括：

基于所述腳部骨骼節點坐標，確定各個視頻幀中所述腳部骨骼節點坐標的第一豎軸分量；

基于所述第一豎軸分量，確定各個視頻幀中的所述腳部穿模損失。

4.根據權利要求2所述的方法，其特征在于，所述基于所述腳部骨骼節點坐標以及所述腳接地數據，確定所述腳部滑步損失，包括：

基于所述腳部骨骼節點坐標，確定各個視頻幀中所述腳部骨骼節點坐標的第一橫軸分量以及第一縱軸分量；

基于所述第一橫軸分量以及所述第一縱軸分量，確定相鄰視頻幀之間所述目標對象的腳部位移差值；

基于所述腳部位移差值以及所述腳接地數據，確定所述腳部滑步損失。

5.根據權利要求2所述的方法，其特征在于，所述基于所述腳部穿模損失以及所述腳部滑步損失，對所述原始視頻動捕數據進行迭代優化，得到所述目標對象的目標視頻動捕數據，包括：

基于所述全局位移數據以及所述參數化模型，確定所述全局位移數據在所述三維坐標空間內的第二豎軸分量；

基于所述腳部穿模損失，對所述第二豎軸分量進行迭代優化；

基于所述腳部穿模損失以及所述腳部滑步損失，對所述全局位移數據以及所述骨骼旋轉數據進行迭代優化，得到所述目標視頻動捕數據。

6.根據權利要求5所述的方法，其特征在于，所述基于所述腳部穿模損失以及所述腳部滑步損失，對所述全局位移數據以及所述骨骼旋轉數據進行迭代優化，得到所述目標視頻動捕數據，還包括：

基于所述腳部穿模損失以及所述腳部滑步損失，對所述全局位移數據進行優化，得到優化后的全局位移數據；

基于所述全局位移數據以及所述優化后的全局位移數據，確定全局位移損失；

基于所述腳部穿模損失、所述腳部滑步損失以及所述全局位移損失，對所述全局位移數據以及所述骨骼旋轉數據進行迭代優化，得到所述目標視頻動捕數據。

7.根據權利要求6所述的方法，其特征在于，所述基于所述全局位移數據以及所述優化后的全局位移數據，確定全局位移損失，包括：

確定視頻幀間隔；

基于所述視頻幀間隔，確定采樣視頻幀以及采樣視頻幀數；

基于所述全局位移數據以及所述優化后的全局位移數據，確定各個采樣視頻幀中所述全局位移數據與所述優化后的全局位移數據之間的全局位移差值；

基于所述采樣視頻幀數以及所述全局位移差值，確定所述全局位移損失。