[發明專利]基于視覺圖像的動作捕捉方法及數字動畫制作方法

在審

• 申請號: 202011043833.8
• 申請日: 2020-09-28
• 公開（公告）號: CN112215928A
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 李鵬飛
• 申請（專利權）人: 中國科學院計算技術研究所數字經濟產業研究院
• 主分類號: G06T13/40
• 分類號: G06T13/40
• 代理公司: 杭州九洲專利事務所有限公司 33101
• 代理人: 沈敏強

1.一種基于視覺圖像的動作捕捉方法，其特征在于：

獲取多角度相機同步采集的人體動作圖像；

對不同角度人體動作圖像進行分析得到圖像上的人體關節點坐標；

將不同角度人體關節坐標融合計算得到3D關節點坐標。

2.根據權利要求1所述的基于視覺圖像的動作捕捉方法，其特征在于：

將人體3D關節點坐標結合人體運動學規律對不同關節不同維度解算，得到人體的運動參數。

3.根據權利要求1或2所述的基于視覺圖像的動作捕捉方法，其特征在于，所述對不同角度人體動作圖像進行分析得到圖像上的人體關節點坐標，包括：

通過深度學習算法計算得到相機o圖像上關節點i坐標(x_oi,y_oi,s_oi)，其中x_oi表示為關節點i的水平像素坐標，y_oi表示為關節點i的垂直像素坐標，s_oi表示為關節點i的深度學習算法置信度；

人體動作圖像上關節點i被遮擋時，則其置信度s_oi為0；未被遮擋時，置信度s_oi會根據關節點i在圖中的具體位置判別，越靠近關節點中心時s_oi值越大，最大值為1；

圖像中關節點i的坐標和其置信度由深度學習神經網絡計算獲得，所用的訓練數據是由人工標定；人工判別關節點中心位置，根據人工對關節點中心位置的確定程度進行標定，最大值為1，越偏離關節中點心置信度越小，離開關節或關節被遮擋則置信度為0。

4.根據權利要求1或2所述的基于視覺圖像的動作捕捉方法，其特征在于，所述將不同角度人體關節坐標融合計算得到3D關節點坐標，包括：

通過相機本身內部參數和相機本身所安裝的位置和角度得到空間點到相機像素坐標投影矩陣M；

計算相機o圖像中關節點i的3D點位置得到(X_oi,Y_oi,Z_oi)＝M^-1*(x_oi,y_oi)；

任意兩個相機a、b結合得到一個關節點i的3D點(X_abi,Y_abi,Z_abi)，其對應置信度s_abi＝s_ai*s_bi；(X_ai,Y_ai,Z_ai)與(X_bi,Y_bi,Z_bi)結合通過雙目標定匹配算法計算得到(X_abi,Y_abi,Z_abi)。

將任意兩個相機結合得到的N組3D點融合得到關節點i的3D關節點坐標

5.根據權利要求2所述的基于視覺圖像的動作捕捉方法，其特征在于，將人體3D關節點坐標結合人體運動學規律對不同關節不同維度解算，包括：

根據人體運動學規律求取最小運動角度，將人體關節按照人體關節自由度分為3個類別，并采用對應公式進行歐拉角計算；

自由度為1的關節連接采用以下公式進行計算：

或

求得關節點a的歐拉角(roll,0,0)或(0,pitch,0)；

自由度為2的關節連接采用以下公式進行計算：

求得關節點a的歐拉角(0,pitch,yaw)；

自由度為3的關節連接采用以下公式進行計算：

或

求得關節點a的歐拉角(roll,pitch,yaw)；

對所有人體關節按照自由度由小到大依次進行計算求得最終結果；

其中，為人體在標準T姿態下的關節點a、b的連接向量；為人體在標準T姿態下的關節點b、c的連接向量；為人體在標準T姿態下的關節點a、c的連接向量；

為當前人體動作姿態下的關節點a、b的連接向量；為當前人體動作姿態下的關節點b、c的連接向量；為當前人體動作姿態下的關節點a、c的連接向量。