[發明專利]一種三維手勢識別方法及裝置

有效

• 申請號: 201911064467.1
• 申請日: 2019-11-04
• 公開（公告）號: CN110837792B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 薛澄岐;賈樂松;周小舟;肖瑋燁;苗馨月;邢向向
• 申請（專利權）人: 東南大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/774;G06V10/84
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 王恒靜

1.一種三維手勢識別方法，其特征在于，包括以下步驟：

(1)采集靜態手勢，并根據建立的手部空間坐標系進行手部位置表示；

(2)以靜態手勢的骨節方向信息作為手勢識別的觀測值特征序列，并對不同角度和位置下的靜態手勢對應的手勢識別觀測值特征序列進行空間旋轉坐標上的歸一化，得到各個靜態手勢對應的觀測序列；

(3)確定隱馬爾可夫模型的隱含狀態數和混合高斯模型的分模型數后，采用GMM-HMM模型對靜態手勢對應的觀測序列進行識別；

(4)根據等待模型對動態手勢進行識別；

(5)在用戶使用時收集用戶個體的手勢數據，并利用該數據對所述GMM-HMM模型進行遷移訓練，形成針對于每個用戶的模型；

步驟(4)中，等待模型是將構成動態手勢的若干個靜態手勢節點的對應信息進行存儲，并在一定的動態手勢識別過程的等待時間內依次檢測整個動態手勢的靜態手勢節點所代表的手勢的出現；

所述根據等待模型對動態靜態手勢進行識別，具體包括：

(41)設置靜態手勢的閾值σ，利用前向算法檢測首個靜態手勢節點所代表的靜態手勢是否出現，若檢測到首個靜態手勢節點所代表的靜態手勢則開啟下一個節點手勢的檢測；

(42)在預設的動態手勢識別過程的等待時間內，若依次檢測到設置的所有靜態手勢節點所代表的手勢個數的出現，則判定為檢測到該動態手勢，否則，

若超出時間限制仍未檢測到所有靜態手勢節點所代表的手勢，則將該手勢的檢測重置，重新開始首個靜態節點手勢的檢測；

(43)直至將設置的若干個靜態手勢節點全部檢測；

所述設置靜態手勢的閾值σ∈[λ₁l_av,λ₂l_av]，其中，l_av為最后一次訓練中計算出的N組訓練數據前向算法的輸出值的均值，λ₁＝55％，λ₂＝70％，所述最后一次訓練由設置好最大訓練次數和前后兩次訓練值輸出差值的閾值共同決定，在以下兩種情況中的一種情況率先發生時即停止迭代：a訓練次數達到100次；b當前一次訓練輸出的P值與上一次訓練輸出P值的差值的絕對值小于0.001。

2.根據權利要求1所述的三維手勢識別方法，其特征在于，所述步驟(1)中，手部空間坐標系以手掌掌心方向向量為X軸、手指指向向量為Y軸以及同時與二者垂直的方向向量為Z軸，所在的直線為坐標軸。

3.根據權利要求1所述的三維手勢識別方法，其特征在于，所述步驟(2)中，手勢識別的觀測值特征序列為拇指三個骨節從掌心到手指的方向向量、食指除去最靠近掌心一段骨節的三個骨節從掌心到手指的方向向量、中指除去最靠近掌心一段骨節的三個骨節從掌心到手指的方向向量、無名指除去最靠近掌心一段骨節的三個骨節從掌心到手指的方向向量和小指除去最靠近掌心一段骨節的三個骨節從掌心到手指的方向向量，共15個方向向量。

4.根據權利要求1所述的三維手勢識別方法，其特征在于，所述步驟(2)中，對不同角度和位置下的靜態手勢對應的手勢識別觀測值特征序列進行空間旋轉坐標上的歸一化，具體包括：

以建立的所述空間直角坐標系為基準，計算所述手部空間坐標系旋轉至所在空間中的世界坐標系時的四元數；將靜態手勢對應的觀測序列按照所述四元數進行旋轉，完成歸一化。

5.根據權利要求1所述的三維手勢識別方法，其特征在于，所述步驟(3)中，采用GMM-HMM模型對靜態手勢進行識別的過程包括：

(31)利用外部設備每隔M秒收集一組靜態手勢數據序列，共收集該靜態手勢下在空間內轉動和移動后的手勢數據序列N組，其中M≥1，N≥20；

(32)通過Baum-Welch算法迭代訓練對應的GMM-HMM模型，直至模型收斂；

(33)計算N組手勢數據序列的前向算法輸出值，若當前幀手勢數據序列前向算法輸出值大于設定閾值θ，即為識別到該手勢，否則，未識別到手勢。