[發明專利]用于移動設備的虛實融合鍵盤系統和方法

有效

• 申請號: 202010598565.X
• 申請日: 2020-06-28
• 公開（公告）號: CN111930225B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 翁冬冬;胡明偉;胡翔;江海燕
• 申請（專利權）人: 北京理工大學;南昌虛擬現實檢測技術有限公司;南昌新世紀會展中心有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/023;G06F3/14;G06T19/00;G06N3/04
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 高會允

本發明公開了用于移動設備的虛實融合鍵盤系統和方法，屬于虛擬現實技術領域。該方案數據處理量小，適用于移動設備的處理速度，且移動設備與虛擬現實顯示設備分立設置，不影響用戶舒適度。本發明的技術方案為：用于移動設備的虛實融合鍵盤系統，包括實體鍵盤、移動設備以及融合顯示模塊。移動設備具有視頻捕捉模塊和圖像轉化模塊；移動設備固定在實體鍵盤的上方設定位置處，移動設備與實體鍵盤的位置關系為：實體鍵盤處于視頻捕捉模塊的視場范圍內；圖像轉化模塊，用于將視頻捕捉模塊所捕獲的實體鍵盤的實時場景圖像轉換為以用戶人眼為視角的鍵盤虛擬圖像。融合顯示模塊，用于將鍵盤虛擬圖像與虛擬環境進行虛實融合顯示。

技術領域

本發明涉及虛擬現實技術領域，具體涉及用于移動設備的虛實融合鍵盤系統和方法。

背景技術

目前，不少研究提出虛擬現實的文本輸入方案，例如通過手勢識別進行文本輸入以及使用手柄通過射線以及按鍵操縱虛擬環境中的虛擬鍵盤來實現字符的選擇等，但是，這些輸入方案的輸入效率都較低，遠遠低于直接使用鍵盤進行輸入的效率。

目前的虛實融合鍵盤系統的方式有兩種。一種方式是利用跟蹤器跟蹤鍵盤，獲取鍵盤的位置信息，同時利用數據手套獲取用戶手部的位姿信息，最后將獲取到的鍵盤信息和手部信息傳輸到計算機中，控制計算機中對應的虛擬鍵盤和虛擬手模型，從而使用戶可以通過虛擬手控制虛擬鍵盤，實現鍵盤輸入。這樣的方式需要實時處理鍵盤位置信息和手部位姿信息，尤其是手部實時位姿信息的數據量很大，對計算機的運行要求較高，一般的移動設備無法滿足這樣的需求。另一種方式是在VR眼鏡上粘貼攝像頭，當用戶低頭觀看鍵盤時，直接將拍攝到的鍵盤畫面投影到虛擬環境中，從而構建鍵盤輸入系統。然而，這樣在頭盔上粘貼相機的方式會增大頭盔的重量，降低用戶的舒適感。

申請號為CN201810330801.2的專利提供了一種用于虛擬現實的虛實融合鍵盤系統，是一種基于虛擬現實設備的位置跟蹤器進行鍵盤的虛實融合的方法及系統。該系統使用位置跟蹤器跟蹤真實鍵盤的位置，并通過手型獲取設備獲取手部的位置信息和相關手勢狀態，將這些信息傳送到計算機。由計算機根據這些信息進行實時渲染，在虛擬環境中生成對應的虛擬鍵盤模型和手部模型。

這種實時跟蹤渲染對計算機的計算速度要求較高，目前一般的移動設備(如手機、平板電腦)無法達到這樣的計算速度，不能應用到移動設備的虛擬現實體驗中。

論文：HawKEY:Eicient and Versatile Text Entry for Virtual Reality提供了一種方案：在用戶的胸前上懸掛一個托盤的結構，將鍵盤放置在胸前的托盤上，同時在頭盔上粘貼一個深度相機，在用戶低頭時對鍵盤進行視頻拍攝，并投影到虛擬環境中，幫助用戶在虛擬環境中使用實體鍵盤。

該方式利用深度相機同時獲取深度信息和視頻信息導致運算量較大，對設備的運算能力要求較高，一般移動設備很難滿足。同時，現有的移動設備并沒有提供與深度相機的接口，而移動設備上很少有裝載深度相機，即便有少數的手機安裝了深度攝像頭，但其精度也達不到專業深度相機的要求。同時，將相機粘貼在頭盔上增大的頭盔的重量導致頭部負擔變重，將托盤通過吊帶懸掛在脖子上，也增加了脖子的負擔，這樣嚴重影響了用戶的舒適度。

因此目前亟需一種適用于移動設備處理速度的，且不影響用戶舒適度鍵盤系統。

發明內容

有鑒于此，本發明提供了用于移動設備的虛實融合鍵盤系統和方法，數據處理量小，適用于移動設備的處理速度，且移動設備與虛擬現實顯示設備分立設置，不影響用戶舒適度。

為達到上述目的，本發明的技術方案為：用于移動設備的虛實融合鍵盤系統，包括實體鍵盤、移動設備以及融合顯示模塊。

移動設備具有視頻捕捉模塊和圖像轉化模塊；移動設備固定在實體鍵盤的上方設定位置處，移動設備與實體鍵盤的位置關系為：實體鍵盤處于視頻捕捉模塊的視場范圍內；圖像轉化模塊，用于將視頻捕捉模塊所捕獲的實體鍵盤的實時場景圖像轉換為以用戶人眼為視角的鍵盤虛擬圖像；