[發明專利]一種基于動態手勢的VR交互方法、裝置及電子設備

有效

• 申請號: 201710474290.7
• 申請日: 2017-06-21
• 公開（公告）號: CN107272899B
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 王琳;王西穎
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孫翠賢;項京

1.一種基于動態手勢的VR交互方法，其特征在于，包括：

持續獲取由VR設備采集的雙目視頻幀；

從所獲取的各個雙目視頻幀的第一目視頻幀中提取手型區域，所述第一目視頻幀為：左目視頻幀或右目視頻幀；

識別所提取到的各個手型區域，得到各個手型區域對應的靜態手勢識別結果，所述靜態手勢的識別結果包括：指向或單擊；

當所得到的各個靜態手勢識別結果中包括單擊和指向兩類結果時，確定發生單擊和指向的動態手勢，并執行與所述動態手勢對應的響應操作；

其中，所述執行與所述動態手勢對應的響應操作的步驟，包括：

確定目標手型區域中的食指區域，其中，所述目標手型區域為：所述各個手型區域中，所對應靜態手勢識別結果為指向的一個手型區域；

根據所述食指區域，確定食指的指向直線；

將所述指向直線與所述VR設備的顯示區域的交點作為所述動態手勢對應的交互點；

在所述交互點上響應單擊操作；

所述根據所述食指區域，確定食指的指向直線的步驟，包括：

對所述食指區域和目標視頻幀進行立體匹配，得到所述食指區域中的每個像素點的三維坐標數據，其中，所述目標視頻幀為目標雙目視頻幀中的另一目視頻幀，所述目標雙目視頻幀為包含所述食指區域所在第一目視頻幀的雙目視頻幀；

將所述食指區域中的每個像素點的三維坐標數據進行線性擬合，得到食指的指向直線；

所述對所述食指區域和目標視頻幀進行立體匹配，得到所述食指區域中的每個像素點的三維坐標數據的步驟，包括：

對所述食指區域和目標視頻幀中與所述食指區域對應的目標區域的像素進行先驗像素級別的立體匹配，得到第一視差值；

根據所述第一視差值和左右相機的標定參數，確定所述食指區域中每個像素點的三維空間坐標數據。

2.根據權利要求1所述的方法，其特征在于，所述從所獲取的各個雙目視頻幀的第一目視頻幀中提取手型區域的步驟，包括：

針對所獲取的每個雙目視頻幀的第一目視頻幀，對該第一目視頻幀進行灰度化轉換，并對灰度化轉換后的圖像通過閾值分割的方式進行二值化處理，得到二值化處理的圖像；

提取所得到的各個二值化處理的圖像中的手型區域。

3.根據權利要求1所述的方法，其特征在于，所述識別所提取到的各個手型區域，得到各個手型區域對應的靜態手勢識別結果的步驟，包括：

提取各個手型區域的方向梯度直方圖HOG特征；

將各個手型區域的方向梯度直方圖HOG特征分別輸入預先訓練的支持向量機SVM模型，得到各個手型區域所對應的靜態手勢識別結果，其中，所述支持向量機SVM模型以包含指向或單擊的靜態手勢的樣本視頻幀的方向梯度直方圖HOG特征作為輸入內容，以所述樣本視頻幀所包含的單擊或指向的靜態手勢作為輸出內容訓練所得。

4.根據權利要求1所述的方法，其特征在于，所述確定目標手型區域中的食指區域的步驟，包括：

以手型區域外包矩形的邊為坐標軸進行Y軸上的手型區域的直方圖投影，通過對投影的直方圖進行閾值處得到手型的食指區域，所述Y軸為沿手指的高度方向。

5.根據權利要求1所述的方法，其特征在于，所述根據所述第一視差和左右相機的標定參數，確定所述食指區域中每個像素點的三維空間坐標數據的步驟，包括：

將所述食指區域和目標視頻幀擴大預定倍數；

在擴大預定倍數后，以所述第一視差值為基礎，對當前食指區域和當前目標視頻幀中與所述食指區域對應的目標區域的像素點進行亞像素級別的立體匹配，得到第二視差值；

根據所述第二視差值和左右相機的標定參數，確定所述食指區域中每個像素點的三維空間坐標數據。