[發明專利]基于多體素塊的手幾何運動重建方法及裝置

有效

• 申請號: 201810320747.3
• 申請日: 2018-04-11
• 公開（公告）號: CN108564618B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 徐楓;張浩;劉燁斌
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/246
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種基于多體素塊的手幾何運動重建方法，其特征在于，包括以下步驟：

根據首幀的深度數據獲取人手骨架，并對多體素塊進行初始化，所述根據首幀深度數據獲取人手骨架，并對多體素塊進行初始化，進一步包括：使用所述多體素塊分別對人手的手掌和手指進行重建；利用所述首幀獲得的人手骨架獲取預設姿態下的骨架，并得到首幀人手骨架相對于所述預設姿態骨架的運動；利用所述預設姿態的人手骨架獲取每個體素塊的尺寸；將所述預設姿態的人手骨架嵌入到所述多體素塊中，并為所述每個體素計算最近的兩根手骨；利用首幀手骨架的運動驅動多體素，以將所述首幀的深度數據融合到所述多體素塊中，獲得人手的初始模型；

通過所述多體素塊中已重建好的手模型對手進行運動估計，以得到新的人手運動，其中，手的運動由手骨的運動完全表達，即Θ＝{dq(p_j)|p_j∈P₀∪P₁∪P₂∪P₃∪P₄∪P₅}，其中，dq(p_j)為由對偶四元數表示的手骨p_j的運動，P₀、P₁、P₂、P₃、P₄和P₅分別表示手掌、大拇指、食指、中指、無名指和小拇指所包含的手骨；求解手的運動即求解Θ，使得能量最小，其公式為：其中，v為當前深度圖D所包含的手數據點，TSDF(v,Θ)為將多體素塊中的tsdf場經Θ運動后得到的tsdf場在v處的值；以及

根據所述人手運動將當前深度數據融合到所述多體素塊中，更新手的幾何模型，以同時重建手的運動和所述幾何模型。

2.根據權利要求1所述的基于多體素塊的手幾何運動重建方法，其特征在于，所述將所述新的深度數據融合到所述多體素塊中，更新手的幾何模型，以同時重建手的運動和所述幾何模型，進一步包括：

利用前一幀的人手運動作為初始值，并驅動當前預設姿態下的多體素塊的tsdf場，以獲得運動后的tsdf場；

通過將當前深度數據約束到所述運動后tsdf場過零點，以求解人手的運動；以及

利用所述人手的運動驅動體素塊中的體素，將所述當前深度數據融合到所述多體素塊中，更新人手模型。

3.根據權利要求2所述的基于多體素塊的手幾何運動重建方法，其特征在于，體素的運動可表示為：

T(x)＝SE3(normalize(w1·dq(p1)+w2·dq(p1))，

其中，dq(p)為手骨p的運動由對偶四元數表示，normalize()是對對偶四元數進行歸一化，SE3()是將對偶四元數轉化為變換矩陣T，p1和p2為兩個距離最近的手骨，w1和w2為影響權重，d(x_s，p)表示體素到手骨線段的最近距離，x_s為體素的標準坐標，x_s＝R_ix+t_i，x為體素的局部坐標，每個體素塊的局部坐標系到標準坐標系的旋轉R_i和平移t_i。

4.根據權利要求3所述的基于多體素塊的手幾何運動重建方法，其特征在于，所述多體素塊中人手模型的更新為：

其中，{S(x)，W(x)}為體素中存儲的tsdf值和其置信度，μ表示截斷長度，η為：

進一步地，其中，x_c為運動之后體素的相機坐標，T_c為世界坐標系到相機坐標系之間的變換，x_c^z為x_c的z坐標，K表示相機投影矩陣。