[發明專利]一種基于骨架的3D手勢估計方法

有效

• 申請號: 202010116785.4
• 申請日: 2020-02-25
• 公開（公告）號: CN111401141B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 于慧敏;李鈺昊
• 申請（專利權）人: 浙江大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種基于骨架的3D手勢估計方法，其特征在于，該方法包括如下步驟：

(1)獲取N個手勢樣本對的數據集{手勢圖像D_i，骨架坐標向量y_i}，其中i＝1，...，N為樣本編號，H，W分別為深度圖像D_i的長和寬，J為骨架關節點個數；

(2)使用變分自動編碼器建立生成模型，用于學習、提取每個骨架y_i的隱含特征其中d為隱含特征維度；同時，模型根據隱含特征z_i，準確恢復出相應的骨架

(3)使用卷積神經網絡結構構建共享編碼器Enc，對手勢圖像D_i進行特征提取，得到共享特征其中ds為共享特征維度；

(4)構建手勢生成模塊，所述手勢生成模塊包括生成器Dec和判別器Dis；共享特征zs經過生成器Dec，重新生成對應的深度手勢圖像建立損失函數同時，生成圖像與原圖像D經過判別器Dis，進行圖像的真假判斷，建立損失函數按照梯度下降法的原則，對Dis與Dec進行參數更新；

(5)構建用于關聯手勢、骨架的特征映射模塊Ali，將共享特征zs輸入特征映射模塊Ali，得到估計的骨架隱含特征結合步驟(2)生成模型得到的隱含特征z建立損失函數其中第二項為KL散度，表示特征映射模塊Ali的輸出，即符合標準正態分布；按照梯度下降法的原則，對Ali進行參數更新；

(6)基于多任務學習策略，聯合生成模塊與特征映射模塊的損失函數，建立總損失函數其中α、β均為可學習的權重參數，按照梯度下降法的原則，對α、β以及共享編碼器Enc進行參數更新；

(7)重復步驟(2)～(6)，直到收斂或達到最大迭代次數；

(8)使用經過訓練的網絡參數權重，對一幅新的深度手勢圖像d，依次經過共享編碼器Enc、特征映射模塊Ali以及步驟(1)中變分自動編碼器的解碼部分，即可估計出對應的手勢骨架

2.根據權利要求1所述的方法，其特征在于，步驟(1)中所述手勢圖像為深度或RGB圖像。

3.根據權利要求1所述的方法，其特征在于，步驟(2)中，生成模型的訓練過程為無監督訓練。

4.根據權利要求1所述的方法，其特征在于，所述共享特征與骨架隱含特征均具有可解釋性，應用的任務包括：

(4.1)手勢估計；

(4.2)手勢識別。

5.根據權利要求1所述的方法，其特征在于，所述步驟(5)中，特征映射模塊Ali為單隱層全連接網絡。