[發明專利]聯合優化人體體態與外觀模型的三維重建方法及系統

有效

• 申請號: 201810460079.4
• 申請日: 2018-05-15
• 公開（公告）號: CN108665537B
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 劉燁斌;戴瓊海;方璐;徐楓
• 申請（專利權）人: 清華大學;清華大學深圳研究生院
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/80
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種聯合優化人體體態與外觀模型的三維重建方法，其特征在于，包括以下步驟：

對人體進行深度圖拍攝，以得到單張深度圖像；

將所述單張深度圖像變換為三維點云，并獲取所述三維點云和重建模型頂點及參數化人體模型頂點之間的匹配點對；

根據所述匹配點對建立能量函數，并共同求解所述重建模型上每一個頂點的非剛性運動位置變換參數和參數化人體體態模型參數，其中，所述能量函數為：E_mot＝λ_dataE_data+λ_bindE_bind+λ_regE_reg+λ_priorE_prior，其中，E_mot為運動求解總能量項，E_data為數據項，里面包含了非剛性運動跟蹤的數據項和參數化人體體態模型的數據項，E_bind為參數化人體體態和非剛性運動一致性約束項，E_reg為局部剛性運動約束項，作用于非剛性運動數據項，E_pri為人體體態運動的正則項，用于約束解算出來的人體姿態的合理性，λ_data、λ_reg、λ_bind和λ_pri分別為對應各個約束項的權重系數；

對所述能量函數進行求解，并根據求解結果將所述重建模型與所述三維點云進行對齊；以及

通過深度圖更新和補全對齊后的模型，以進行實時人體動態三維重建。

2.根據權利要求1所述的聯合優化人體體態與外觀模型的三維重建方法，其特征在于，其中，

其中，和分別表示經過非剛性運動驅動后的模型頂點坐標及其法向，u表示同一匹配點對中三維點云的位置坐標，P表示從重建模型和參數化人體體態模型上到三維點云觀測的對應點集合，和分別表示經過人體體態參數驅動后的模型頂點坐標及其法向，τ₁、τ₂和τ₃均為示性函數以決定對應點選擇的模式，所述局部剛性運動約束項中，i表示模型上第i個頂點，表示模型上第i個頂點周圍的鄰近頂點的集合，和分別代表已知非剛性運動對模型表面頂點x_i和x_j的驅動作用，和代表作用在x_i和x_j上的非剛性運動同時作用在x_j上的位置變換效果，所述人體體態和非剛性運動一致性約束項中，和分別代表受非剛性運動驅動后的模型頂點坐標，所述人體姿態運動正則項中，μ_j和δ_j分別表示高斯混合權重以及高斯模型的均值和方差。

3.根據權利要求1所述的聯合優化人體體態與外觀模型的三維重建方法，其特征在于，深度圖投影公式為：

其中，u，v為像素坐標，d(u，v)為深度圖像上像素(u，v)位置處的深度值，所述為深度相機內參矩陣。

4.根據權利要求1-3任一項所述的聯合優化人體體態與外觀模型的三維重建方法，其特征在于，根據非剛性運動和人體體態模型參數驅動模型頂點，其中，計算公式為：

其中，為作用于頂點v_i的變形矩陣，包括旋轉和平移兩部分；為該變形矩陣的旋轉部分；為對頂點v_i有驅動作用的骨骼的集合；α_i，j為第j個骨骼對第i個模型頂點的驅動作用的權重，表示該骨骼對該頂點驅動作用的強弱；T_bj為第j個骨骼自身的運動變形矩陣，rot(T_bj)為該變形矩陣的旋轉部分。