[發明專利]一種基于深度圖像的三維手勢識別方法及交互系統

有效

• 申請號: 201810417457.0
• 申請日: 2018-05-04
• 公開（公告）號: CN108776773B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 彭昊;李擁軍;冼楚華;吳煜林;馮嘉昌
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/25;G06V10/774;G06V10/82;G06K9/62;G06F3/01
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種基于深度圖像的三維手勢識別方法，其特征在于，包括以下步驟：

1)使用深度傳感器獲取深度信息圖；

2)數據預處理，對獲取的深度信息圖利用卷積神經網絡，即CNN，識別出AOI，切割出待識別的手部深度信息圖；

3)將從CNN中獲得的手部深度信息圖傳入以ResNet為基本結構的已經訓練好的手勢識別網絡進行識別，獲得識別出的手部關鍵節點三維坐標；所述步驟3)中識別網絡以ResNet為基本結構，在最后加入了自編碼層，采用自編碼層自動提取特征，去除相關性；

4)將從網絡中識別輸出的手部關鍵節點坐標進行坐標轉換，以適應交互系統的世界坐標；

5)利用Socket通訊，將變換坐標后的手部關鍵節點坐標序列傳送到交互系統；

6)交互系統獲取手部關鍵節點信息，結合用戶設定的語義判斷條件，利用其物理引擎展示交互結果；所述步驟6)中，使用步驟5)發送來的三維坐標點序列，根據關鍵節點的距離和角度變化，用戶可以自行設定變化的閾值，從而可以得到不同的手勢語義。

2.根據權利要求1所述的基于深度圖像的三維手勢識別方法，其特征在于，在步驟1)中，用戶使用深度傳感器，包括Kinect，獲取到深度信息圖，電腦端通過OpenNI獲取到深度傳感器中的深度信息圖。

3.根據權利要求1所述的基于深度圖像的三維手勢識別方法，其特征在于，在步驟2)中，對于從深度傳感器獲得深度信息圖，使用經過訓練的CNN網絡進行識別手部位置，切割出包含手部的深度信息的AOI。

4.根據權利要求1所述的基于深度圖像的三維手勢識別方法，其特征在于，在步驟3)中，首先通過對輸入的截取有手部深度信息的AOI進行大小變換以適應網絡的輸入要求；輸入的手部深度信息圖經網絡識別后，會輸出一個手部關鍵節點的三維坐標點序列。

5.根據權利要求1所述的基于深度圖像的三維手勢識別方法，其特征在于，在步驟4)中，將步驟3)輸出的手部關鍵節點坐標通過坐標變換，包括：旋轉、平移變換，此步驟中將獲得的手部關節點的三維坐標點序列，坐標轉換成為交互系統中用戶設定的世界坐標系中的坐標點序列。

6.一種基于權利要求1所述方法的交互系統，通過3D游戲引擎實現手勢的展示以及通過其物理引擎實現與虛擬內容的物理交互。