[實用新型]一種基于手勢識別的虛擬現實交互設備

有效

• 申請號: 201520687524.2
• 申請日: 2015-09-07
• 公開（公告）號: CN205080499U
• 公開（公告）日: 2016-03-09
• 發明（設計）人: 韓琦;楊曉光;李建英;朱磊
• 申請（專利權）人: 哈爾濱市一舍科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0487
• 代理公司: 哈爾濱市偉晨專利代理事務所(普通合伙) 23209
• 代理人: 張偉

技術領域

本實用新型涉及人機交互技術，尤其涉及一種基于手勢識別的虛擬現實交互設備。

背景技術

隨著移動計算設備從筆記本電腦到手機、平板電腦的演化，移動計算設備的操控方式也經歷了從鍵盤、鼠標到手機按鍵、手寫板，再到觸摸屏、虛擬鍵盤的進化，可以看到，移動設備的操控方式是朝著越來越直觀、簡便，并且符合人的自然習慣的方向進化的。

目前在移動計算設備上廣泛使用的基于觸摸屏的操控方式，技術上是將一塊透明的觸摸感應屏和顯示屏貼合在一起，觸摸感應屏實質上是一個定位裝置，能夠捕捉到屏幕上的觸摸動作并獲取其位置，同時結合時間軸信息，將動作識別其為點觸、長觸、滑動等動作之一。進而將位置和動作信息作為指令傳遞給移動計算設備，移動計算設備基于該指令做出相應的操作反應。由于觸摸感應屏與顯示屏是疊加在一起的，因此帶給使用者“所點即所想”的使用感受，相比鼠標、觸控板等定位設備需要通過光標反饋位置的輸入方式，屏幕觸控方式帶來更好的使用體驗。

屏幕觸控方式相比鍵盤加鼠標的方式，更加符合人的直觀反應、更容易學習，但是屏幕觸控方式畢竟只捕捉到了人體手指的動作，在一些需要更多使用者本體信息輸入的場合，比如運動游戲、模擬訓練、復雜操控、遠距離操控等，屏幕觸控方式就顯示出其捕獲人體信息過于單一的局限性了。

目前，現有的虛擬現實交互技術通常是利用諸如鼠標、按鍵等常規輸入方式來與設備進行交互，使得輸入方式過于有限，由此導致用戶在進行功能選擇或執行時，操作較為繁瑣，用戶體驗較差。

實用新型內容

在下文中給出了關于本實用新型的簡要概述，以便提供關于本實用新型的某些方面的基本理解。應當理解，這個概述并不是關于本實用新型的窮舉性概述。它并不是意圖確定本實用新型的關鍵或重要部分，也不是意圖限定本實用新型的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。

鑒于此，本實用新型提供了一種基于手勢識別的虛擬現實交互設備，以至少解決現有的虛擬現實交互技術的輸入方式有限以及用戶在進行功能選擇或執行時操作較為繁瑣的問題。

根據本實用新型的一個方面，提供了一種基于手勢識別的虛擬現實交互設備，該虛擬現實交互設備包括3D攝像頭接口、頭盔式虛擬現實顯示器、信號處理組件以及移動設備接口，所述3D攝像頭接口連接至所述信號處理組件；所述信號處理組件連接至所述移動設備接口，所述移動設備接口連接至所述頭盔式虛擬現實顯示器；在使用時，所述3D攝像頭接口連接外部的3D攝像頭，以通過該3D攝像頭來捕獲含有深度信息的使用者手部的待測圖像序列，并將所述待測圖像序列發送給所述信號處理組件，所述信號處理組件基于所述待測圖像序列來獲得所述使用者的手勢，并根據該手勢確定對應的操作指令，以對連接至所述移動設備接口的移動設備執行該操作指令，所述頭盔式虛擬現實顯示器通過所述移動設備接口接收所述移動設備的屏幕顯示信號，以將所述移動設備的屏幕以虛擬現實顯示方式呈現于預定顯示區域。

進一步地，所述頭盔式虛擬現實顯示器包括：佩戴部，所述佩戴部可佩戴在使用者頭部；采集成像部，所述采集成像部設置于所述佩戴部上，并連接至所述移動設備接口以采集所述移動設備的屏幕顯示信號，來將所述屏幕以虛擬現實顯示方式呈現于所述預定顯示區域。

進一步地，所述采集成像部包括顯示屏和兩組透鏡組，所述顯示屏為透明材質，所述兩組鏡片組被設置成：當所述虛擬現實交互設備被使用者佩戴于頭部時，所述兩組鏡片組分別位于使用者對應的視線正前方。

進一步地，所述信號處理組件包括：輪廓檢測單元，用于根據圖像深度信息和圖像顏色信息，在所述待測圖像序列的每幀圖像中檢測出所述使用者的手部輪廓；特征點序列確定單元，用于針對所述使用者的每只手，利用預設的手部結構模板，在所述待測圖像序列的每幀圖像中確定該只手的待測特征點序列；動作識別單元，用于針對所述使用者的每只手，在多個預設特征點序列中確定該只手的待測特征點序列的匹配序列，以根據所述匹配序列確定該只手的動作名稱和位置；手勢識別單元，用于在預設手勢表中選擇與所述使用者雙手的動作名稱和位置相匹配的手勢，作為已識別手勢；指令確定單元，用于根據預設操作指令表，確定與所述已識別手勢對應的操作指令；執行單元，用于對與確定的操作指令相關的設備進行與該操作指令對應的操作。