[發明專利]基于自適應手指關節規則濾波的手勢識別方法及系統

在審

• 申請號: 202010724219.1
• 申請日: 2020-07-24
• 公開（公告）號: CN112083800A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 吳濤
• 申請（專利權）人: 青島小鳥看看科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 張超艷;董永輝

1.一種基于自適應手指關節規則濾波的手勢識別方法，其特征在于，包括：

構建基于神經網絡的骨骼點識別模型；

采用兩個相機結合雙目立體成像原理拍攝手的圖像；

將所述圖像輸入骨骼點識別模型，識別出手和手上骨骼點在圖像上的位置；

根據識別出的骨骼點在圖像上的位置結合兩個相機的標定參數，獲得空間中的手上骨骼點在相機坐標系下的三維位置；

對手上骨骼點的三維位置進行自適應手指關節規律平滑濾波，

其中，所述對手上骨骼點的三維位置進行自適應手指關節規律平滑濾波的步驟包括：

獲取手指上骨骼點三維坐標，按照從手指根到指的末端的方向構建手指上相鄰骨骼點構成的向量；

通過手指的運動規則判斷從手指根到指的末端的方向的指關節兩側的相鄰向量之間是否在[0°,90°]范圍內；

如果不在范圍內，按照從手指根到指的末端的方向且向量大小不變規則調整骨骼點的位置，進行平滑濾波；

設定運動約束規則，根據運動約束規則按照從指的末端到手指根的方向且向量大小不變規則調整骨骼點的位置，進行平滑濾波。

2.根據權利要求1所述的手勢識別方法，其特征在于，所述設定運動約束規則的步驟包括：

設定相鄰向量之間的夾角，指關節兩側的相鄰向量之間夾角按照從手指根到指的末端的方向相同或減小。

3.根據權利要求1所述的手勢識別方法，其特征在于，還包括：

設置21個骨骼點，21個骨骼點包括每一個手指的關節點以及手掌的中心點。

4.根據權利要求3所述的手勢識別方法，其特征在于，所述設定運動約束規則的步驟包括：

每個手指具有三個向量，按照從手指根到指的末端的方向分別為第一向量、第二向量和第三向量，所述運動約束規則包括：第一向量和第二向量的夾角為60°；第二向量和第三向量之間的夾角為30°。

5.根據權利要求1所述的手勢識別方法，其特征在于，還包括：

使用26自由度人手骨架作為恢復對象；其中：手腕6個自由度，包括手腕的三維坐標3個自由度和手掌的3個旋轉自由度；每個手指4個自由度，包括指根2個旋轉自由度和兩個次指節分別1個旋轉自由度。

6.根據權利要求1所述的手勢識別方法，其特征在于，還包括：

構建基于神經網絡的手檢測模型，輸入為紅外圖像，輸出為是否有手及手的ROI區域，所述骨骼點識別模型的輸入是手的ROI區域的深度圖像，輸出是多個骨骼點的位置信息。

7.一種基于自適應手指關節規則濾波的手勢識別系統，其特征在于，包括：

模型構建模塊，構建基于神經網絡的骨骼點識別模型；

兩個相機，結合雙目立體成像原理拍攝手的圖像；

第一骨骼點獲得模塊，將所述圖像輸入骨骼點識別模型，識別出手和手上骨骼點在圖像上的位置；

第二骨骼點獲得模塊，根據識別出的骨骼點在圖像上的位置結合兩個相機的標定參數，獲得空間中的手上骨骼點在相機坐標系下的三維位置；

平滑濾波模塊，對手上骨骼點的三維位置進行自適應手指關節規律平滑濾波，

其中，所述平滑濾波模塊包括：

向量構建單元，獲取手指上骨骼點三維坐標，按照從手指根到指的末端的方向構建手指上相鄰骨骼點構成的向量；

判斷單元，通過手指的運動規則判斷從手指根到指的末端的方向的指關節兩側的相鄰向量之間是否在[0°,90°]范圍內；如果不在范圍內，發送信號給第一平滑濾波單元，如果在范圍內，發送信號給第二濾波單元；

第一濾波單元，按照從手指根到指的末端的方向且向量大小不變規則調整骨骼點的位置，進行平滑濾波；

第二濾波單元，設定運動約束規則，根據運動約束規則按照從指的末端到手指根的方向且向量大小不變規則調整骨骼點的位置，進行平滑濾波。

8.根據權利要求7所述的手勢識別系統，其特征在于，所述運動約束規則包括：相鄰向量之間的夾角在設定范圍內，指關節兩側的相鄰向量之間的夾角的設定范圍按照從手指根到指的末端的方向相同或減小。