[發明專利]一種基于手勢控制的新型學習方法

在審

• 申請號: 201811070443.2
• 申請日: 2018-09-13
• 公開（公告）號: CN109375766A
• 公開（公告）日: 2019-02-22
• 發明（設計）人: 何艷玲;王旭;黃凱;宋日輝;周馭讓;趙惠;張藝斕;林鎮坤
• 申請（專利權）人: 何艷玲
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06Q50/26
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳偉斌

1.一種基于手勢控制的新型學習方法，其特征在于，包括以下步驟：

S1.用戶通過設備提示，面向新型學習設備做出手勢；

S2.設備攝像頭捕捉用戶的圖像顏色信息和深度信息；

S3.使用RTP協議將深度數據流、彩色視頻流傳輸至計算機設備；

S4.計算機通過Kinect對圖像中的用戶進行人體識別并獲取骨骼框架，并讀取人體骨骼信息，分析其骨骼變化動作，從而識別手勢；

S5.計算機分析手勢信息，做出相應的應變，并將結果通過屏幕等交互設備返回至用戶。

2.根據權利要求1所述的一種基于手勢控制的新型學習方法，其特征在于：所述的步驟S2中，通過Kinect對用戶進行人體識別并獲取骨骼圖，首先采用Light Coding技術，即利用連續光對測量空間進行編碼，經感應器讀取編碼的光線，交由晶片運算進行解碼后，產生成一張具有深度的人體圖像。

3.根據權利要求1所述的一種基于手勢控制的新型學習方法，其特征在于：所述的步驟S4中，Kinect提取深度圖像中的人體骨骼信息；Kinect預先通過大量的訓練讓分類器得到學習，從而識別人體骨骼信息并輸出骨骼坐標。

4.根據權利要求1所述的一種基于手勢控制的新型學習方法，其特征在于：所述的步驟S4中，具體為以下步驟：

S41.深度圖像特征提??；

S42.根據隨機森林的葉子節點預測骨骼模型；

S43.基于骨骼特征信息進行動態手勢關節特征描述；

S44.利用動態手勢識別算法進行手勢識別。

5.根據權利要求4所述的一種基于手勢控制的新型學習方法，其特征在于：所述的步驟S41中，對于一個給定的像素u，特征通過公式：

提取，其中，特征參數φ＝(δ₁，δ₂)描述了二維像素的兩個不同的偏移量δ₁，δ₂，函數z(u)為像素u的實際深度值；而f(u∨φ)可以很好地刻畫圖像特征之間的深度差關系。

6.根據權利要求4所述的一種基于手勢控制的新型學習方法，其特征在于：所述的步驟S42中，首先對處在每個像素位置的身體部位進行分類，分類森林將實現這一點；決策森林實現身體部位骨骼點分類后，使用帶加權高斯核做進一步處理；對于預測算法中某一特定的身體部位c，根據以下公式定義一個密度函數：

w_i＝P(c|I,x_i)*d_i(x_i)² (2.2)

上述公式中，b_c為特定部位的帶寬，N為圖像中全部像素的個數，是x像素的三維坐標，對于公式(2.2)中相應的權值w_i，它與特定部位的相關像素的深度以及特定部位的概率分布相關，采用此算法，從上述公式中找出中出現次數最多的那個值，將會得到各骨骼結點的三維信息。

7.根據權利要求4所述的一種基于手勢控制的新型學習方法，其特征在于：所述的步驟S43中，包括四個功能手勢，指向手勢、轉向手勢、縮放手勢和揮手手勢；

所述的指向手勢，具體描述為：

δ^P，同一身體中手關節和臀部關節的歐式距離，此特征描述子可以有效的區分雖然胳膊是伸展狀態但是不是指向的手勢動作；

θ^P，肘關節的角度，由肘關節與肩關節組成的向量和肘關節與手關節組成的向量所確定，它可以判斷胳膊是否處于伸展狀態；

ρ^P，手關節的位置；

所述的縮放手勢，具體描述為：

δ^w,頸部關節和手關節的歐氏距離，將被標準化在[0,1]范圍內，從而避免軀干大小的不同帶來的誤差；

θ^W,肘關節角度，不需要標準化處理，因為不會受到軀干大小不同的影響。

8.根據權利要求4所述的一種基于手勢控制的新型學習方法，其特征在于：所述的步驟S44中，使用動態時間規整算法對動態手勢進行分類；其核心思想是當兩序列完全匹配時，找出使得累計距離最小的那個相應函數；一個序列是手勢動作g的參考序列R_g＝{r₁,…,r_m},另一個序列是輸入流S＝{s₁,…,s_n}，s_i和r_i都是特征向量；距離最小的序列即為機器識別的手勢動作；

例如對于縮放手勢：

對于指向手勢：

為了讓S對應各種手勢的參考序列，采用動態規劃的方式調整序列之間的長短，并計算其歐氏距離；

為此構造一個m*n的矩陣網格M，的每一個矩陣元素m_(i,j)都表示兩序列的距離，它被定義為：

m_i，j＝d(r_i，s_j)+min(m_i，j-1，m_i-1，j，m_{i-1，j-1})

其中d(r_i,s_j)是距離度量準則；如此進行遞歸計算，可以得到一條最佳的兩序列對齊路徑；此時需要尋找一條最佳通過此網格中若干格點的路徑，路徑通過的格點即為兩個序列進行計算的對齊的點；把這條路徑定義為warping path規整路徑，并用W來表示，W的第k個元素定義為wk＝(i,j)k，定義了序列Q和C的映射；這樣我們有：

W＝{w₁,…,w_k}，max(m,n)≤k≤m+n+1

此時，可以得到輸入流S和每個參考手勢控制序列的規整代價最小的路徑，其累計距離按如下公式計算：

輸出累計距離最小的參考手勢姿勢序列，交由計算機解讀預存的手勢命令，并操作學習系統完成人機交互，動態手勢識別交互完成。