[發明專利]一種三維手勢識別方法及裝置

有效

• 申請號: 201911064467.1
• 申請日: 2019-11-04
• 公開（公告）號: CN110837792B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 薛澄岐;賈樂松;周小舟;肖瑋燁;苗馨月;邢向向
• 申請（專利權）人: 東南大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/774;G06V10/84
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 王恒靜

本發明公開了一種三維手勢識別方法及裝置，該方法包括：(1)采集靜態手勢，并根據建立的手部空間坐標系進行手部位置表示；(2)以靜態手勢的骨節方向信息作為手勢識別的觀測值特征序列，并對不同角度和位置下的靜態手勢對應的手勢識別觀測值特征序列預處理；(3)采用GMM?HMM模型對靜態手勢對應的觀測序列進行識別；(4)根據等待模型對動態手勢進行識別；(5)在用戶使用時收集用戶個體的手勢數據，并利用該數據對GMM?HMM模型進行遷移訓練，形成針對于每個用戶的模型。本發明所述的歸一化的方法是在特征序列的基礎上來的，它能夠在保留完整數據的情況下很方便且準確的實現歸一化，使得識別準確率升高。

技術領域

本發明涉及手勢識別技術，具體涉及一種三維手勢識別方法及裝置。

背景技術

隨著虛擬現實及增強現實的發展，新的三維界面形式登上歷史舞臺，手勢交互由于其比面部表情和眼動更易于捕捉和識別，又比全身姿勢更易于實施(特別是在狹小空間中)的特點成為了更適用于虛擬環境自然用戶界面的交互方式。此外在智能產品、汽車、家居等領域，手勢交互的作用也逐漸凸顯出來。

目前尚沒有成熟且具備高度可擴展性的手勢交互應用開發工具，而由于手勢識別所需的機器學習等專業知識成為了很多開發人員無法逾越的技術壁壘，這就導致了手勢交互應用乃至于手勢交互發展的滯后。

由于不同人的手掌的尺寸有著相當大的差異，基于坐標點數據的特征序列仍存在著一定的不足，這是由于基于點坐標的歸一化方法無法有效的對數據進行歸一化處理，這就導致了識別結果的不穩定。

動態識別相較于靜態識別而言增加了時間變量這一維度，即觀測數據包含多個時間節點的手勢觀測序列信息，由于帶有時間的數據序列不符合GMM-HMM模型的輸入數據要求，因而必須要對數據序列進行降維。

在現有的識別算法之中，研究者多采用將三維位置信息換算為手指間的夾角、不同指尖的距離、某部位的位移等低維度數據方式來對數據進行降維，并將每個時間點下的一維參數作為手勢識別觀測序列值的單個數據節點。

雖然上述方法實現了數據的降維，但對于動態手勢識別來說仍然存在著一定的問題：首先上述的降維方式對原始數據進行了二次處理，這勢必會導致部分數據的丟失而影響識別結果。其次，由于不同用戶做手勢的速度和不同時刻設備捕捉手部數據的幀率均有著較大的差異，因而需要對時間序列進行歸一化，這就使得必須在運行時保存并處理前100幀左右的數據，從而極大的增加了程序運行時的資源消耗和計算時長。

發明內容

發明目的：為了克服現有技術的不足，本發明提供一種三維手勢識別方法，該方法可以解決識別準確率低、運算速度慢的問題，本發明還提供一種三維手勢識別裝置。

技術方案：本發明所述的一種三維手勢識別方法，包括以下步驟：

(1)采集靜態手勢，并根據建立的手部空間坐標系進行手部位置表示；

(2)以靜態手勢的骨節方向信息作為手勢識別的觀測值特征序列，并對不同角度和位置下的靜態手勢對應的手勢識別觀測值特征序列進行空間旋轉坐標上的歸一化，得到各個靜態手勢對應的觀測序列；

(3)確定隱馬爾可夫模型的隱含狀態數和混合高斯模型的分模型數后，采用GMM-HMM模型對靜態手勢對應的觀測序列進行識別；

(4)根據等待模型對動態手勢進行識別；

(5)在用戶使用時收集用戶個體的手勢數據，并利用該數據對原GMM-HMM模型進行遷移訓練，形成針對于每個用戶的模型。

進一步地，包括：

所述步驟(1)中，手部空間坐標系以手掌掌心方向向量為X軸、手指指向向量為Y軸以及同時與二者垂直的方向向量為Z軸，所在的直線為坐標軸。

進一步地，包括：