[發明專利]基于自適應手指關節規則濾波的手勢識別方法及系統

在審

• 申請號: 202010724219.1
• 申請日: 2020-07-24
• 公開（公告）號: CN112083800A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 吳濤
• 申請（專利權）人: 青島小鳥看看科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 張超艷;董永輝

本發明提供一種基于自適應手指關節規則濾波的手勢識別方法及系統，包括：構建基于神經網絡的骨骼點識別模型；采用兩個相機結合雙目立體成像原理拍攝手的圖像；將所述圖像輸入骨骼點識別模型，識別出手和手上骨骼點在圖像上的位置；根據識別出的骨骼點在圖像上的位置結合兩個相機的標定參數，獲得空間中的手上骨骼點在相機坐標系下的三維位置；對手上骨骼點的三維位置進行自適應手指關節規律平滑濾波。上述手勢識別方法及系統高精度，高穩定性還原手在虛擬場景中的姿態位置信息。

技術領域

本發明涉及人機交互技術領域，更為具體地，涉及一種基于自適應手指關節規則濾波的手勢識別方法及系統。

背景技術

眾所周知，為了增強VR/AR虛實結合的沉浸感，使VR/AR用戶有更好的體驗，人機交互模塊必不可少，特別是手的姿態在VR/AR場景中的高精度實時還原是非常影響用戶在VR/AR場景中的體驗沉浸感。手勢識別在VR/AR領域非常關鍵，特別是在VR/AR游戲體驗非常關鍵，對精度、延時和環境的兼容穩定性要求比較高。

目前的手勢識別，大都停留在一些簡單常規的手勢操作上面，比如點擊一些菜單或者按鈕，或者對一些圖片做一些簡單的操作比如放大，縮小處理等，但是在VR/AR游戲場景下，手勢識別精度和穩定性不能符合用戶實際操作的要求，當用戶在通過VR設備進行VR游戲體驗的時候，用戶一般非常希望通過自己的雙手直接能和虛擬游戲的場景內容直接交互，類似在現實環鏡真手操作一樣。

目前解決該問題的方式有兩種，一種是通過外部相機實時捕捉手的信息，通過計算機視覺算法實時還原手在虛擬場景的姿態位置信息；另外一種就是通過在用戶手上佩戴傳感器手套，通過傳感器實時捕獲用戶手在虛擬場景的姿態位置信息，一般使用的傳感器是9軸慣性測量單元(IMU)，但是需要用戶實時佩戴這種傳感器手套，用戶體驗不太友好，在一般的場景下，這種方式不太能接受。

目前，大都采用第一種方式實現即計算機視覺技術實現該功能，由于對用戶的使用體驗沒有太多限制，用戶體驗比較友好。目前主要通過計算機視覺技術通過外部的雙目攝像頭通過立體匹配計算出手上骨骼點的三維坐標或者通過深度相機直接獲取到手上骨骼點的三維坐標，然后通過預先對設定手本身的每一個關節自由度規則和一些限制，通過每一個關節上兩個三維點坐標，計算出手指上的各個關節的旋轉角度，和手掌的三維位置和旋轉，還原出整只手的的位置和姿態信息，最后通過一些平滑濾波操作，過濾下計算不太準確的自由度信息，使其最大可能還原手的三維位姿信息盡量避免和現實手的真實姿態信息差異過大，但是手指的動作比較復雜的情況下，還是大概率存在還原的手三維位姿信息有扭曲，變形等現象。

發明內容

鑒于上述問題，本發明的目的是提供一種自適應手指關節規則平滑濾波，高精度，高穩定性還原手在虛擬場景中的姿態位置信息的基于自適應手指關節規則濾波的手勢識別方法及系統。

根據本發明的一個方面，提供一種基于自適應手指關節規則濾波的手勢識別方法，包括：

構建基于神經網絡的骨骼點識別模型；

采用兩個相機結合雙目立體成像原理拍攝手的圖像；

將所述圖像輸入骨骼點識別模型，識別出手和手上骨骼點在圖像上的位置；

根據識別出的骨骼點在圖像上的位置結合兩個相機的標定參數，獲得空間中的手上骨骼點在相機坐標系下的三維位置；

對手上骨骼點的三維位置進行自適應手指關節規律平滑濾波，

其中，所述對手上骨骼點的三維位置進行自適應手指關節規律平滑濾波的步驟包括：

獲取手指上骨骼點三維坐標，按照從手指根到指的末端的方向構建手指上相鄰骨骼點構成的向量；

通過手指的運動規則判斷從手指根到指的末端的方向的指關節兩側的相鄰向量之間是否在[0°,90°]范圍內；