[發明專利]一種虛擬現實交互的實現方法、系統及MR手套

在審

• 申請號: 201710028784.2
• 申請日: 2017-01-16
• 公開（公告）號: CN106873775A
• 公開（公告）日: 2017-06-20
• 發明（設計）人: 周漢民;趙迪;童星
• 申請（專利權）人: 深圳中科呼圖電子商務有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 廣東深宏盾律師事務所44364
• 代理人: 孫利華

技術領域

本發明涉及虛擬現實技術領域，特別是涉及一種虛擬現實交互的實現方法、系統及MR手套。

背景技術

虛擬現實(VR，VirtualReality)技術是利用電腦或其他智能計算設備為核心，結合光電傳感技術生成逼真的視、聽、觸一體化的特定范圍內虛擬的環境。在VR系統中主要包括輸入設備和輸出設備。而頭戴式顯示器(HMD，HeadMountDisplay)是一種虛擬現實顯示輸出設備，形如眼鏡，通過感應人的眼部活動，接受指令，呈現圖像，可直接在眼鏡上現實各種數據提供給用戶，它配合對應的輸入設備的交互，能夠讓用戶產生獨立封閉的沉浸式交互體驗。

在現有技術中，VR系統中基于2D或者3D攝像頭，均能實現手勢交互，但是通常，VR系統可以將采集的圖像實時顯示在HMD上給予用戶沉浸感，但是沒有觸碰感，沉浸感不強，降低產品對用戶的吸引力。

發明內容

基于此，有必要提供一種虛擬現實交互的實現方法，包括：

將3D攝像頭捕捉到的用戶的身體骨骼數據，于虛擬現實空間中定位出用戶的三維空間位置；

當捕捉到的用戶手部骨骼數據于所述虛擬現實空間中定位出的三維空間位置與虛擬現實空間中的目標虛擬物體位置重疊或達致預設距離時，將觸碰感交互需求信息及手指的標識信息發送給MR（Mixed reality）手套；

將所述觸碰感交互需求信息轉換成響應動作，并將所述響應動作作用在所述標識信息對應的手指上，以使所述手指產生與所述響應動作對應的觸感。

在其中一個實施例中，所述響應動作包括震動、加壓、收緊、加熱、冷卻中的一種或幾種動作；

所述將所述響應動作作用在所述標識信息對應的手指上包括：

將震動、加壓、收緊、加熱、冷卻中的一種或幾種動作，作用在所述標識信息對應的手指上。

在其中一個實施例中，所述響應動作還包括發光；

所述將所述響應動作作用在所述標識信息對應的手指上包括：控制所述標識信息對應的手指上發光。

在其中一個實施例中，所述將3D攝像頭捕捉到的用戶的身體骨骼數據，于虛擬現實空間中定位出用戶的三維空間位置包括：

3D攝像頭發射結構光或紅外激光掃描場景物體，3D攝像頭的接收器接收物體反射光，捕捉人體深度數據，并提取人體骨骼數據；

利用所述骨骼數據于unity3D或android開發的程序里跟蹤到用戶身體部位在三維空間的位置。

在其中一個實施例中，所述將觸碰感交互需求信息及所述手指的標識信息發送給MR手套包括：

通過藍牙或wifi通訊方式，將觸碰感交互需求信息及所述手指的標識信息發送給MR手套。

在其中一個實施例中，所述當捕捉到的用戶手部骨骼數據于所述虛擬現實空間中定位出的三維空間位置與虛擬現實空間中的目標虛擬物體位置重疊或達致預設距離時，將觸碰感交互需求信息及所述手指的標識信息發送給MR手套的步驟之前，還包括：

接收MR手套發送的用戶手部的加速度、角速度及角度數據。

本發明還提供了一種虛擬現實交互的實現系統，包括：

3D攝像頭、上位機和MR手套；其中，

所述3D攝像頭，用于捕捉用戶的身體骨骼數據；

所述上位機內設置有虛擬現實客戶端，用于將3D攝像頭捕捉到的用戶的身體骨骼數據，于虛擬現實空間中定位出用戶的三維空間位置；

所述上位機，還用于當捕捉到的用戶手部骨骼數據于所述虛擬現實空間中定位出的三維空間位置與虛擬現實空間中的目標虛擬物體位置重疊或達致預設距離時，將觸碰感交互需求信息及所述手指的標識信息發送給MR手套；

所述MR手套，用于將接收到的所述觸碰感交互需求信息轉換成響應動作，并將所述響應動作作用在所述標識信息對應的手指上，以使所述手指產生與所述響應動作對應的觸感。

在其中一個實施例中，所述響應動作包括震動、加壓、、收緊、加熱、冷卻中的一種或幾種動作；所述MR手套還用于，將震動、加壓、收緊、加熱、冷卻中的一種或幾種動作，作用在所述標識信息對應的手指上。

在其中一個實施例中，所述響應動作還包括發光；

所述MR手套還用于，控制所述標識信息對應的手指上發光。

在其中一個實施例中，所述3D攝像頭包括3D深度攝像頭和接收器；

所述3D深度攝像頭，用于發射結構光或紅外激光掃描場景物體；

所述接收器，用于接收物體反射光，捕捉人體深度數據，并提取人體骨骼數據；