[發明專利]一種基于骨架的3D手勢估計方法

有效

• 申請號: 202010116785.4
• 申請日: 2020-02-25
• 公開（公告）號: CN111401141B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 于慧敏;李鈺昊
• 申請（專利權）人: 浙江大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于骨架和隱含特征空間對齊的3D手勢估計方法。該方法利用深度生成網絡實現對手勢骨架和深度手勢的隱含特征進行建模、學習和表達，并利用多任務學習的機制，在建模的同時完成骨架隱含空間與手勢隱含空間之間的對齊。不同于以往的手勢估計方法，該方法的目標是在低維隱含空間之間學習建立映射關系，使得學習難度降低。同時，該方法有效地利用了多任務學習機制，使得學習到的特征更加全面，魯棒性更高。

技術領域

本發明屬于姿態估計、計算機視覺、和人機交互領域，特別地涉及一種基于骨架和多任務學習的手勢估計方法。

背景技術

3D手勢估計是計算機視覺與人機交互領域的基礎和重要的任務。經典的手勢估計方法包括基于生成模型的方法，基于判別模型的方法，基于3D卷積神經網絡的方法以及基于骨架關節點熱圖的方法。但是，多數現有方法往往基于手勢的深度或RGB圖像，通過對其進行層層處理，最終估計得到手勢參數，如關節點坐標或角度。然而，不難理解，手勢與骨架從本質上來講是同一事物的兩種模態，手勢與骨架之間存在著一一對應的關系，它們的低維特征也是如此。因此，與其采用由手勢到骨架的自頂向下的處理思路，不如考慮在低維特征層面上，將手勢與骨架關聯起來，即可實現從手勢到骨架的估計過程。此外，低維特征空間的構建與特征關聯應該是兩個互相促進的任務，而非相互獨立的。

引入多任務學習策略，同步地進行低維特征空間的構建與特征關聯，這一方法能夠保證學習到的特征更加關注于手的本質，而非偏向手勢或是骨架。多任務學習策略有助于提高兩個聯合任務各自的效果。

發明內容

本發明的目的在于提供了一種基于骨架的3D手勢估計模型。該方法通過對骨架的學習、建模和表達，基于變分自動編碼器建立了骨架的特征空間，并在此基礎上，同步完成手勢的特征空間建立以及手勢、骨架的特征關聯，從而實現手勢與骨架在低維空間層面上映射關系。

為實現上述目的，本發明的技術方案為：一種基于骨架的3D手勢估計模型。該方法為：首先建模骨架的低維特征空間，然后將手勢生成模塊與特征映射模塊用一個聯合的損失函數進行訓練優化，其中D為實際手勢圖像，是手勢生成的結果，z由骨架坐標向量y經過步驟1中的編碼器編碼所得，是特征映射的結果，優化該損失函數即等價于同步地進行構建低維空間與學習特征映射任務。該方法具體為：

(1)獲取N個手勢樣本對的數據集{手勢圖像D_i，骨架坐標向量y_i}，其中i＝1,…,N為樣本編號，H,W分別為深度圖像D_i的長和寬，J為骨架關節點個數。

(2)使用變分自動編碼器建立生成模型，用于學習、提取每個骨架y_i的隱含特征其中d為隱含特征維度；同時，模型可以根據隱含特征z_i，準確恢復出相應的骨架

(3)使用卷積神經網絡結構構建共享編碼器Enc，對手勢圖像D_i進行特征提取，得到共享特征其中ds為共享特征維度。

(4)構建手勢生成模塊，所述手勢生成模塊包括生成器Dec和判別器Dis。共享特征zs經過生成器Dec，重新生成對應的深度手勢圖像建立損失函數同時，生成圖像與原圖像D經過判別器Dis，進行圖像的真假判斷，建立損失函數按照梯度下降法的原則，對Dis與Dec進行參數更新；

(5)構建用于關聯手勢、骨架的特征映射模塊Ali，將共享特征zs輸入特征映射模塊Ali，得到估計的骨架隱含特征結合步驟2生成模型得到的隱含特征z建立損失函數其中第二項為KL散度，表示特征映射模塊Ali的輸出,即符合標準正態分布。按照梯度下降法的原則，對Ali進行參數更新；

(6)基于多任務學習策略，聯合生成模塊與特征映射模塊的損失函數，建立總損失函數其中α、β均為可學習的權重參數，按照梯度下降法的原則，對α、β以及共享編碼器Enc進行參數更新；第一個損失項為手勢的重構損失，第二個損失項為手勢的真假判別損失，第三個損失項為由手勢特征到骨架特征的映射損失；