[發明專利]一種頭戴式VR環境的人機交互方法及系統

有效

• 申請號: 202010053510.0
• 申請日: 2020-01-17
• 公開（公告）號: CN111273773B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 李琳;曹力;桂杰;吳小威
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 楊媛媛

本發明涉及一種頭戴式VR環境的人機交互方法及系統。該方法包括：對平面輔助物和用戶手部進行識別跟蹤；平面輔助物為用戶在現實場景中操作的平面物體，平面輔助物與用戶佩戴的頭戴式VR設備中呈現的虛擬平板形狀相同；根據平面輔助物和用戶手部的跟蹤結果，在頭戴式VR設備的虛擬場景中繪制虛擬平板和虛擬手；通過平面輔助物將智能平板的交互范式引入虛擬平板，確定虛擬平板的交互功能；交互功能包括導航、選擇、操縱和系統控制；根據用戶在現實場景中對平面輔助物的操作，采用觸覺重定向算法更新虛擬場景中虛擬手的移動路徑；虛擬場景中虛擬手的移動路徑用于指導用戶在現實場景中的物理手的移動。本發明可以實現綜合交互。

技術領域

本發明涉及虛擬現實領域，特別是涉及一種頭戴式VR環境的人機交互方法及系統。

背景技術

近些年隨著低成本頭戴式顯示器(head-mouted display，HMD)的出現，沉浸式虛擬現實(virtual reality，VR)設備在普通用戶中得以普及。VR環境是一個類似于真實世界的三維空間，其交互方式主要存在導航、選擇、操縱和系統控制四種類型。傳統的鼠標、鍵盤作為HMD視野外部工具并不適合在沉浸式的三維空間中使用，因此提出更加自然的三維空間交互方式一直是人們追求的目標。

目前，HMD-VR顯示設備種類豐富，主要有HtcVive、Oclus Rift等，其中以HtcVive為代表的手柄式交互成為了該類交互系統的主流方法。手柄通過光線投射和虛擬手技術可以在中近距離選擇和操縱虛擬物體，并通過手柄上的按鈕進行導航和系統控制。然而，手柄交互系統在遠距離情況下很難選擇和操縱物體。SOHN等人提出了利用用戶的身體姿勢進行交互，通過MicroSoft Kinect體感設備捕捉用戶的身體骨骼和分析用戶姿勢實現導航功能，但是在選擇、操縱和系統控制上存在困難。Jackie(Junrui)Yang等人使用自制VR抓取器可以精確地抓取目標并獲得觸覺反饋，但僅側重于近距離選擇和操縱。王依林等人發明了一種基于VR的交互方法，采用頭部連續旋轉與場景交互，但是該交互方法可能會造成用戶身體上的不適。郭瑽等人發明了一種VR場景交互方法，通過位置采集裝置獲取用戶位置并展示到VR場景中。張圣科等人發明了一種超時空重合世界VR交互方法及系統，通過虛擬內容與現實實物的完全融合，達到提高沉浸感的效果。王琳等人發明了一種基于動態手勢的VR交互方法，通過靜態手勢識別完成單擊和指向兩類手勢對應的交互操作。但是，上述幾種交互方法過于單一，無法支持包括多種交互功能的交互系統，例如，對導航、選擇、操縱和系統控制無法很好的支持，無法實現綜合交互。

發明內容

本發明的目的是提供一種頭戴式VR環境的人機交互方法及系統，以實現綜合交互。

為實現上述目的，本發明提供了如下方案：

一種頭戴式VR環境的人機交互方法，包括：

對平面輔助物和用戶手部進行識別跟蹤；所述平面輔助物為用戶在現實場景中操作的平面物體，所述平面輔助物與用戶佩戴的頭戴式VR設備中呈現的虛擬平板形狀相同；

根據所述平面輔助物和所述用戶手部的跟蹤結果，在所述頭戴式VR設備的虛擬場景中繪制虛擬平板和虛擬手；

通過所述平面輔助物將智能平板的交互范式引入所述虛擬平板，確定所述虛擬平板的交互功能；所述交互功能包括導航、選擇、操縱和系統控制；

根據所述用戶在現實場景中對所述平面輔助物的操作，采用觸覺重定向算法更新所述虛擬場景中虛擬手的移動路徑；所述虛擬場景中虛擬手的移動路徑用于指導用戶在現實場景中的物理手的移動。

可選的，所述對平面輔助物和用戶手部進行識別跟蹤，具體包括：

采用單深度相機對所述平面輔助物的標記點進行位置跟蹤；所述標記點位于所述平面輔助物的中心點位置；

采用單深度相機對所述用戶手部進行整體跟蹤。