[發明專利]一種基于虛擬現實系統的鼠標輸入系統

在審

• 申請號: 201810330503.3
• 申請日: 2018-04-13
• 公開（公告）號: CN108363494A
• 公開（公告）日: 2018-08-03
• 發明（設計）人: 翁冬冬;方慧;胡翔;申睿穎;江海燕
• 申請（專利權）人: 北京理工大學;南昌虛擬現實檢測技術有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0354;G06F3/0487
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 高會允;仇蕾安

本發明公開了一種基于虛擬現實系統的鼠標輸入系統，能夠通過虛實融合技術，給予用戶真實的觸覺力反饋，提升系統鼠標輸入的交互體驗和真實感，同時提升輸入效率。該系統包括位置跟蹤設備、深度攝像機、真實鼠標、計算機以及頭戴式顯示器HMD。位置跟蹤設備，設置于真實鼠標上，獲取真實鼠標的實時位置信息發送至計算機。深度攝像機設置在真實鼠標的正面或者真實鼠標的上方，采集獲得用戶手部深度圖像；手部深度圖像中包含手部形狀及手部位置數據。計算機根據手部深度圖像控制HMD在虛擬場景的相應位置渲染出手部形狀。計算機根據真實鼠標實時位置信息控制HMD在虛擬場景的相應位置渲染虛擬鼠標，虛擬鼠標與真實鼠標幾何形狀一致。

技術領域

本發明涉及虛擬現實技術領域，具體涉及一種基于虛擬現實系統的鼠標輸入系統。

背景技術

目前在虛擬現實技術領域，涉及到針對鼠標的虛擬現實系統時，一般采用基于Kinect的體感虛擬鼠標

基于Kinect的體感虛擬鼠標：該方案基于Kinect體感設備，對用戶進行骨骼數據采集，開發了一種基于手勢動作控制的體感虛擬鼠標軟件。該方法利用Kinect深度相機進行數據采集，基于紅綠藍色彩信息和深度信息進行行為檢測、識別，并采用聚類分析算法獲得用戶的手掌位置信息和手臂的運動方向信息，進而識別用戶的手勢特征，達到操作電腦的效果。

該體感虛擬鼠標軟件通過手勢進行操作電腦，與傳統的鼠標相比，操作不夠靈活，平均識別率為84.80％，存在識別誤差，大大影響了交互效率。由于預設的手勢眾多，學習成本高，不利于被用戶接受，且眾多復雜的手勢動作也限制了系統的使用人群。

目前有一種可適用于虛擬現實的3D無線鼠標：該方案針對三維桌面環境，設計了一種可適用于虛擬現實的3D無線鼠標。該鼠標操作與傳統鼠標類似，包括左右鍵及滾輪。鼠標內部添加有三維空間傳感器和處理器芯片，用來采集鼠標在三維空間中的位置信息，并對基本信息進行數字信號處理，并通過鼠標內部的無線發射模塊，傳輸給計算機，做進一步的鼠標位置和輸入計算。

該3D無線鼠標使用空間傳感器，對鼠標位置進行實時跟蹤，由于標定誤差和環境噪聲等因素的影響，追蹤的位置存在誤差。當系統使用時間較長時，還可能造成誤差累積，導致鼠標抖動或位置錯誤，輸入準確率降低。當用戶佩戴頭盔時，無法看到真實世界的物體，因此當用戶要使用鼠標時，無法準確找到鼠標的位置，系統便捷性較低。

綜上，以上兩種針對鼠標的虛擬系統中，無法將用戶手部對鼠標的操作與虛擬現實環境相結合，缺少觸覺力反饋，降低了輸入體驗和虛擬現實系統的真實感；同時由于無法對用戶手部進行高效實時的跟蹤，導致交互效率變慢。

發明內容

有鑒于此，本發明提供了一種基于虛擬現實系統的鼠標輸入系統，能夠通過虛實融合技術，給予用戶真實的觸覺力反饋，提升系統鼠標輸入的交互體驗和真實感，同時提升輸入效率。

為達到上述目的，本發明的技術方案為：一種基于虛擬現實系統的鼠標輸入系統，包括位置跟蹤設備、深度攝像機、真實鼠標、計算機以及頭戴式顯示器HMD。

位置跟蹤設備，設置于真實鼠標上，獲取真實鼠標的實時位置信息發送至計算機。

深度攝像機設置在真實鼠標的正面或者真實鼠標的上方，采集獲得用戶手部深度圖像；手部深度圖像中包含手部形狀及手部位置數據。

計算機根據手部深度圖像控制HMD在虛擬場景的相應位置渲染出手部形狀。

計算機根據真實鼠標實時位置信息控制HMD在虛擬場景的相應位置渲染虛擬鼠標，虛擬鼠標與真實鼠標幾何形狀一致。

進一步地，位置跟蹤設備包括基站和設定數量的感應點。

感應點的數量任意選取，感應點為光學傳感器或者超聲傳感器。

設定數量的感應點設置于真實鼠標的表面。