[發明專利]基于哈希表的高分辨率人體實時動態重建方法及裝置

在審

• 申請號: 201910717605.5
• 申請日: 2019-08-05
• 公開（公告）號: CN110599535A
• 公開（公告）日: 2019-12-20
• 發明（設計）人: 劉燁斌;李哲;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/593
• 分類號: G06T7/593
• 代理公司: 11201 北京清亦華知識產權代理事務所(普通合伙)
• 代理人: 王艷斌

1.一種基于哈希表的高分辨率人體實時動態重建方法，其特征在于，包括以下步驟：

通過單個深度相機采集單個人體的多張深度圖像；

通過相機內參將每張深度圖像投影到三維空間得到三維點云，求解所述三維點云與重建模型頂點及內嵌的人體參數化模型之間的對應點；

根據所述對應點建立能量函數，對所述能量函數進行最優化求解得到所述人體參數化模型的姿勢，并基于所述人體參數化模型的姿勢得到所述重建模型的每個頂點的非剛性變換參數；

對所述重建模型進行非剛性變換，使所述重建模型變換到實時幀下，以使所述重建模型為新增體素在哈希表內分配顯存空間，根據所述非剛性變換參數對所述哈希表中的所有體素進行體素融合，得到人體重建模型以對人體動態重建。

2.根據權利要求1所述的方法，其特征在于，所述能量函數為：

E＝E_data+λ_bindE_bind+λ_regE_reg

其中，為數據項，v_c和分別表示經過非剛性運動后的重建模型頂點坐標及其法向，，u為與之對應的對應點坐標，P為對應點對集合；

和T(x_i)x_i分別代表受人體參數化模型變形驅動后的模型頂點坐標以及非剛性運動驅動后的重建模型頂點坐標；

為正則項，其中是結點i的相鄰結點，λ_bind，λ_reg分別為各項權重系數。

3.根據權利要求1所述的方法，其特征在于，所述根據所述非剛性變換參數對所述哈希表中的所有體素進行體素融合，包括：

將已分配空間的體素壓縮到線性存儲空間中并投入到圖形處理器中進行體素融合。

4.根據權利要求3所述的方法，其特征在于，體素融合公式為：

w_k+1＝max(maxWeight，w_k+1)

其中，TSDF為截斷符號距離函數，TSDF_k，TSDF_k+1分別是融合前后的TSDF值，PSDF是實時幀下的符號截斷距離函數值，PSDF根據所述非剛性變換參數求得，w_k，w_k+1分別是融合前后的權重，maxWeight是權重的最大上限。

5.根據權利要求1所述的方法，其特征在于，所述人體參數化模型的頂點位置由人體骨架驅動，計算公式為：

其中，為對所述人體參數化模型的頂點v_i有驅動作用的骨骼的集合；α_i，j為第j個骨骼對第i個模型頂點的驅動作用的權重，表示該骨骼對該頂點驅動作用的強弱；T_bj為第j個骨骼自身的運動變形矩陣，rot(T_bj)為運動變形矩陣的旋轉部分。

6.一種基于哈希表的高分辨率人體實時動態重建裝置，其特征在于，包括：

采集模塊，用于通過單個深度相機采集單個人體的多張深度圖像；

第一處理模塊，用于通過相機內參將每張深度圖像投影到三維空間得到三維點云，求解所述三維點云與重建模型頂點及內嵌的人體參數化模型之間的對應點；

第二處理模塊，用于根據所述對應點建立能量函數，對所述能量函數進行最優化求解得到所述人體參數化模型的姿勢，并基于所述人體參數化模型的姿勢得到所述重建模型的每個頂點的非剛性變換參數；

重建模塊，用于對所述重建模型進行非剛性變換，使所述重建模型變換到實時幀下，以使所述重建模型為新增體素在哈希表內分配顯存空間，根據所述非剛性變換參數對所述哈希表中的所有體素進行體素融合，得到人體重建模型以對人體動態重建。