[發明專利]一種基于向內環視多RGBD相機的實時動態人體三維重建方法

在審

• 申請號: 202010061901.7
• 申請日: 2020-01-19
• 公開（公告）號: CN111292411A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 朱煜;虞煌杰;金石;楊文康
• 申請（專利權）人: 疊境數字科技（上海）有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/80;G06T15/20
• 代理公司: 上海精晟知識產權代理有限公司 31253
• 代理人: 李艷梅

1.一種基于向內環視多RGBD相機的實時動態人體三維重建方法，其特征在于，包括以下步驟：

步驟S1：搭建多RGBD相機組，標定和采集數據，獲取高精度模型；所述相機組由大于等于4個可同步拍攝的RGBD相機組成；所述相機組360°包圍環繞人體，所述相機固定位置后，計算出所述相機的運動參數，所述相機的運動參數包括內部參數和外部參數；

步驟S2：提取內嵌節點及其參數化；采用所述內嵌節點的方式對所述模型進行均勻采樣，所述采樣的采樣點為控制點，所述控制點相互連接組成所述內嵌節點，所述內嵌節點帶動整個模型運動，以和所述人體運動姿態進行精準匹配；所述模型為預重建模型；

步驟S3：綁定內嵌節點到3D骨骼，并求解運動參數，及優化參數個數，向內嵌節點傳播所述參數；人體的運動骨骼與所述預重建模型的骨骼結構一致；所述骨骼的運動是級聯的，父節點運動會帶動子節點一起運動；實時求取所述預重建模型對應的骨骼到實時監測骨骼之間的運動參數，將所述模型骨骼和動態人物實際監測到的骨骼實時貼合，所述骨骼的徑向轉動通過與骨骼方向平行的面法向量轉動得到；所述骨骼可獲得所述模型的變換參數，并傳播到所述內嵌節點上，以帶動所述模型運動；

步驟S4：求解非剛性運動；使用基于GPU的高斯牛頓優化方法實時求解每個所述控制點的所述變換參數，帶動所述預重建模型實時運動；

步驟S5：進行實時貼圖；所述貼圖從第一幀開始。

2.如權利要求1所述的實時動態人體三維重建方法，其特征在于，所述步驟S1中，所述標定方法為張正友標定法或基于此方法的改進方法，同時在所述標定法中加入BundleAdjustment算法來優化所述外部參計算結果。

3.如權利要求1所述的實時動態人體三維重建方法，其特征在于，所述步驟S2中使用符合所述模型表面特征的測地距離進行所述均勻采樣。

4.如權利要求1所述的實時動態人體三維重建方法，其特征在于，所述步驟S2中所述控制點的平移計算方法為：

所述模型上的任一點P_j的旋轉平移都可以通過采樣的控制點插值得到，即被旋轉平移后的位置P′_j可以用以下公式表示：

第i個控制點的旋轉平移參數為R_i,t_i，其中R_i是旋轉矩陣，t_i是平移向量；是與點P_j附近的k個控制點，k可以取4，6或8,g_i是該控制點在世界坐標系中的位置。

5.如權利要求1所述的實時動態人體三維重建方法，其特征在于，所述步驟S2中的優化參數個數的方法為：

使用李代數表示旋轉，即R_i＝exp(Φ∧),其中Φ＝(φ₁,φ₂,φ₃)，且exp(·)表示矩陣指數映射運算。

6.如權利要求1所述的實時動態人體三維重建方法，其特征在于，所述步驟S3中所述骨骼結構采用openpose或自定義。

7.如權利要求1所述的實時動態人體三維重建方法，其特征在于，所述步驟S3中，所述實時骨骼檢測由高速關鍵點檢測網絡生成二維關鍵點，再通過三角測量得到三維的關鍵點，最終的三維關鍵點可以通過隨機抽樣一致算法，以及人體解剖學特征進行濾波矯正，得到比較精確的三維骨骼關鍵點。