[發明專利]一種基于循環神經網絡的手勢前置實時識別方法

有效

• 申請號: 202010122397.7
• 申請日: 2020-02-27
• 公開（公告）號: CN111444771B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 張弛;萬華根;韓曉霞
• 申請（專利權）人: 浙江大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06K9/62
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 彭劍

1.一種基于循環神經網絡的手勢前置實時識別方法，其特征在于，包括離線建模階段和在線手勢前置識別階段，具體步驟如下：

A、離線建模階段

(1)采集手勢數據，并對采集到的數據進行預處理；

(2)選擇B樣條曲線擬合方程參數和角點信息作為手勢特征進行提取，獲得手勢的特征序列；

選取的手勢特征應滿足連續性、整體性和實時性要求，選取B樣條曲線擬合的曲線方程一次項系數a1、b1，a1、b1的比值g1，二次項系數a2、b2，a2、b2的比值g2以及手勢曲線的角點特征g3共7個特征值作為手勢特征；

手勢特征中的B樣條曲線擬合的曲線方程一次項系數a1、b1和二次項系數a2、b2的具體計算公式為：

記t_i時刻手部位置為(x_i，y_i)，t_i+1時刻手部位置為(x_i+1，y_i+1)，t_i+2時刻手部位置為(x_i+2，y_i+2)；

a₁＝p₁

b₁＝q₁

其中，p₁＝x_i+1-x_i，q₁＝y_i+1-y_i，p₂＝x_i+2-x_i+1，q₂＝y_i+2-y_i+1；

手勢特征中的g1和g2的具體計算公式為：

手勢特征中的角點特征g3定義為當前點與相鄰點的夾角余弦，計算公式為：

(3)構建長短時記憶神經網絡LSTM，將手勢特征序列和對應的手勢類型輸入長短時記憶神經網絡LSTM進行訓練，獲得神經網絡模型作為手勢分類器；

B、在線手勢前置識別階段

(4)實時采集待識別的手勢數據；

(5)對待識別手勢數據進行實時處理，計算當前時間節點的手勢特征，得到當前時間節點的手勢特征序列；

(6)將當前時間節點的手勢特征序列輸入至訓練得到的手勢分類器；若手勢分類器輸出預測概率大于95％，將此概率對應手勢類型作為結果輸出，完成手勢的實時識別。

2.根據權利要求1所述的基于循環神經網絡的手勢前置實時識別方法，其特征在于，步驟(1)中，所述的預處理為：采用低通濾波對采集的手勢坐標序列進行卷積核為[1 1 1]*1/3的一維卷積以消除一部分高頻信息，從而消除徒手凌空手勢因手臂疲勞造成的抖動。

3.根據權利要求1所述的基于循環神經網絡的手勢前置實時識別方法，其特征在于，步驟(3)中，構建的長短時記憶神經網絡LSTM的結構分為4層，分別為Masking層、LSTM層、Dropout層和Dense層，其中關鍵的LSTM層，共使用了60個LSTM細胞相連接。

4.根據權利要求1所述的基于循環神經網絡的手勢前置實時識別方法，其特征在于，在線手勢前置識別階段采用手勢前置識別系統，包括unity前端、socket通信系統和Python神經網絡后端三部分；

socket通信系統實現unity前端和Python神經網絡后端間的通信，根據所記錄的手部運動的距離，當移動距離累加高于閾值0.01m時，將其設為手勢軌跡的B樣條曲線擬合的特征點傳輸給Python神經網絡后端進行處理。