[發(fā)明專利]用于移動(dòng)虛擬現(xiàn)實(shí)頭戴顯示器的無(wú)駐留文本輸入方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810711473.0
• 申請(qǐng)日: 2018-07-03
• 公開（公告）號(hào): CN108845754B
• 公開（公告）日: 2022-09-30
• 發(fā)明（設(shè)計(jì)）人: 梁海寧;徐溫格;岳勇
• 申請(qǐng)（專利權(quán)）人: 西交利物浦大學(xué)
• 主分類號(hào): G06F3/04886
• 分類號(hào): G06F3/04886;G06F3/023
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 馬迪

本發(fā)明公開了一種用于移動(dòng)虛擬現(xiàn)實(shí)頭戴顯示器的無(wú)駐留文本輸入方法，包括：定位虛擬現(xiàn)實(shí)環(huán)境下的文字輸入位置，并彈出虛擬鍵盤；利用頭部轉(zhuǎn)動(dòng)控制虛擬光標(biāo)移動(dòng)到目標(biāo)字符所在區(qū)域；根據(jù)已輸入的字符搜索預(yù)存詞典里與之最相近的推薦單詞，所述推薦單詞動(dòng)態(tài)顯示在當(dāng)前輸入的字符區(qū)域外側(cè)；若存在目標(biāo)單詞，利用頭部移動(dòng)控制虛擬光標(biāo)進(jìn)入目標(biāo)單詞所在區(qū)域選擇單詞，否則繼續(xù)輸入字符。通過消除駐留時(shí)間，避免使用手或額外的輸入設(shè)備，文本輸入速度高，且錯(cuò)誤率低。

技術(shù)領(lǐng)域

本發(fā)明涉及虛擬現(xiàn)實(shí)的用戶輸入命令的技術(shù)領(lǐng)域，具體地涉及一種用于移動(dòng)虛擬現(xiàn)實(shí)頭戴顯示器的無(wú)駐留文本輸入方法。

背景技術(shù)

移動(dòng)VR(Virtual Reality，虛擬現(xiàn)實(shí))HMDs(head-mounted displays，頭戴式顯示器)允許用戶通過智能設(shè)備與身臨其境的虛擬環(huán)境進(jìn)行交互，其傳感器可以獲取用戶的輸入命令。其面臨的最大挑戰(zhàn)之一是如何在VR系統(tǒng)中避免使用外圍設(shè)備(如鍵盤和鼠標(biāo))，這種“附件約束”為沉浸式虛擬環(huán)境(IVE)中的文本輸入帶來了額外的困難。

針對(duì)這個(gè)問題，許多研究者提出了基于語(yǔ)音的文本輸入技術(shù)。Bowman等人對(duì)基于語(yǔ)音的幾種文本輸入技術(shù)進(jìn)行了比較，發(fā)現(xiàn)語(yǔ)音技術(shù)是IVE中文本輸入速度最快的媒介，大約14WPM(Words per Minute)。基于語(yǔ)音的多模態(tài)文本輸入系統(tǒng)SIFFER，可以達(dá)到23.6WPM的平均輸入速率。然而，語(yǔ)音識(shí)別技術(shù)的一個(gè)主要限制是它的性能會(huì)受到嘈雜環(huán)境的影響。此外，當(dāng)用戶在公共環(huán)境中(如公交車上或圖書館里)使用語(yǔ)音技術(shù)輸入密碼或給朋友發(fā)消息時(shí)，隱私問題等安全隱患會(huì)大大提高。

另外，基于觸摸屏的文本輸入技術(shù)的研究結(jié)果顯示，該技術(shù)可以實(shí)現(xiàn)相對(duì)不錯(cuò)的文本輸入速度(例如，使用預(yù)測(cè)算法可以達(dá)到17-23WPM)。然而，由于用戶在IVE中第一次按下觸摸屏之前無(wú)法精確定位手的位置，所以鍵入過程可能需要更多的手部移動(dòng)來選擇目標(biāo)字符。此外，使用智能手機(jī)作為移動(dòng)VR HMD的顯示器進(jìn)行文本輸入時(shí)，需要額外的觸摸板，并且需要使用手，這在用戶的手被占用的情況下是不可能實(shí)現(xiàn)的。

目前已經(jīng)研究了幾種虛擬環(huán)境(virtual environments，VE)下的空中打字技術(shù)，包括基于可穿戴手套的技術(shù)和動(dòng)作捕捉技術(shù)。雖然這些技術(shù)能實(shí)現(xiàn)移動(dòng)文本輸入，部分技術(shù)也可以實(shí)現(xiàn)較快的文本輸入速度，但是需要昂貴的傳感器、相機(jī)或配有傳感器的手套等設(shè)備。除此之外，其中大部分技術(shù)都需要大量學(xué)習(xí)過程，用戶的活動(dòng)位置可能被限制。

當(dāng)前大多數(shù)移動(dòng)VR HMDs使用頭部轉(zhuǎn)動(dòng)進(jìn)行操作，用戶需要移動(dòng)位于視圖中間的光標(biāo)來選擇目標(biāo)對(duì)象。Yu等人提出三種基于頭部交互的文本輸入技術(shù)：駐留，點(diǎn)擊和頭部動(dòng)作(head gesture)，新手用戶在經(jīng)過6個(gè)模塊的訓(xùn)練后，三種技術(shù)的文本輸入速度分別為10.59WPM、15.58WPM和19.04WPM。其中，只有駐留技術(shù)不需要額外的設(shè)備，但即使有預(yù)測(cè)和誤差校正算法，其文本輸入速度(10.59WPM)也沒有那么高。

無(wú)駐留技術(shù)允許用戶在程序運(yùn)行時(shí)即時(shí)輸入文本。Kristensson和Vertanen指出，無(wú)駐留眼睛打字在理論上比現(xiàn)有技術(shù)快得多，其文本輸入理論上最快的速度為46WPM。到目前為止，無(wú)駐留打字技術(shù)主要分為兩大類：基于眼球動(dòng)作(eye gesture)和基于選擇。

EyeWrite是第一種基于眼球動(dòng)作(eye gesture)的打字技術(shù)，其內(nèi)容基于EdgeWrite的手勢(shì)單筆劃字母表。另一個(gè)眼睛打字技術(shù)EYE-S，用戶在九個(gè)熱區(qū)不斷移動(dòng)畫出字母，專家用戶可以達(dá)到6.8WPM。由于用戶需要注視熱區(qū)持續(xù)預(yù)定義的時(shí)間閾值，以確定序列起始點(diǎn)，所以該技術(shù)不是完全無(wú)駐留。這兩種基于手勢(shì)的技術(shù)都出現(xiàn)了低性能問題。