[發明專利]一種精確的三維手部姿態估計方法

有效

• 申請號: 202010127820.2
• 申請日: 2020-02-28
• 公開（公告）號: CN111401151B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 葉中付;張兄全
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V40/20;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;付久春

1.一種精確的三維手部姿態估計方法，其特征在于，包括如下步驟：

步驟1，采用預先訓練好的卷積神經網絡對深度圖像中的手勢進行二維關節點檢測，得出包含關節點二維信息的特征圖；

步驟2，根據手部關節點之間的約束關系，依據關節點在手部中的位置將手部關節點分為三個部分，利用所述步驟1得出的包含關節點二維信息的特征圖，采用預先訓練好的所述卷積神經網絡按多階段深度回歸方式對手部關節點分成的三個部分進行深度回歸處理，直至得出手部各關節點的深度坐標，完成三維手部姿態估計；所述多階段深度回歸方式為：在對選定的手部的第一個部分進行第一階段深度處理后，后續每個階段估計的部分均包含前一階段估計的部分，并在此基礎上增加對新的部分的估計；

根據手部鄰近關節點之間的約束關系，依據關節點在手部中的位置將手部關節點分為三個部分為：手指根節點部分、中間關節點部分和指間關節點部分，其中，所述手指根節點部分包括掌心和每根手指的根節點；

利用所述步驟1得出的包含關節點二維信息的特征圖，采用預先訓練好的所述卷積神經網絡按多階段深度回歸方式對手部關節點分成的三個部分進行深度回歸處理具體包括如下步驟：

步驟21、通過所述卷積神經網絡對所述包含關節點二維信息的特征圖進行回歸處理得到包含手指根節點部分深度坐標的特征圖；

步驟22、所述卷積神經網絡以所述步驟21得出的特征圖作為輸入進行迭代處理；

步驟23、對所述卷積神經網絡當前回歸處理的輸出進行幾次上采樣處理，得到與所述卷積神經網絡開始回歸處理時輸入的特征圖尺寸相同的特征圖；

步驟24、通過特征連接方式將所述步驟23得到的特征圖的輸出特征與所述步驟1得到特征圖的輸出特征融合，將融合得到的結果作為所述卷積神經網絡下一階段回歸處理的輸入，并在第二階段估計出根部關節點部分和中間關節點部分；

步驟25、重復所述步驟23和步驟24，并在第三階段得出手部所有關節點的深度坐標。

2.根據權利要求1所述的精確的三維手部姿態估計方法，其特征在于，所述方法中，對卷積神經網絡預先訓練的方式如下：

用預先標定手部關節點目標位置的深度圖像作為訓練用深度圖像；

用所述卷積神經網絡估計所述訓練用深度圖像得出手部各關節點位置，計算得出所述手部各關節點位置與預先標定手部關節點目標位置的最小均方誤差，并利用所述最小均方誤差設定損失函數，通過所述卷積神經網絡迭代處理直至得出所述損失函數的最小值，即完成所述卷積神經網絡的優化訓練。

3.根據權利要求2所述的精確的三維手部姿態估計方法，其特征在于，所述損失函數L為：

L＝L_d+L_r；

其中，L_d為二維關節點檢測的損失函數；L_r為深度回歸處理的損失函數；

所述L_d由兩個沙漏網絡的損失函數以加權形式組合而成，具體為：其中，L_d¹為第一個沙漏網絡的損失函數，λ₁為L_d¹的權重值，L_d²為第二個沙漏網絡的損失函數，λ₂為L_d²的權重值；

所述L_d¹和L_d²通過以下公式得到：其中，L_dⁱ為第i個沙漏網絡的損失函數，它表示兩個矩陣之間對應點的第二范數的平方和；op是沙漏網絡的輸出，tg是目標模型，k表示第k個關節，m和n是矩陣的行和列；

該損失函數是將生成的關節熱圖與目標模型進行比較設計而成，其中，關節熱圖是通過兩個沙漏網絡對深度圖像中的手部進行二維關節點檢測，每個沙漏網絡輸出生成數量等同于手部關節個數的關節熱圖；目標模型是由2D高斯函數生成的矩陣，矩陣上的每個點表示可能成為的連接點。

4.根據權利要求1至3任一項所述的精確的三維手部姿態估計方法，其特征在于，所述方法步驟1中，在進行二維關節點檢測時，將輸出的特征圖經過打分處理得到與手部關節點數量對應的矩陣，每個矩陣上的每個元素為當前位置是對應關節點的概率，選取其中最大值所代表的位置作為對應關節點的二維平面坐標作為關節點的二維信息。