[發明專利]一種基于眼動以及手指微手勢的文本輸入系統及方法

在審

• 申請號: 202010455791.2
• 申請日: 2020-05-26
• 公開（公告）號: CN111831112A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 翁冬冬;江海燕;胡翔
• 申請（專利權）人: 北京理工大學;南昌虛擬現實檢測技術有限公司;南昌新世紀會展中心有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/023;G06F3/0487
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 高會允

本發明公開了一種基于眼動以及手指微手勢的文本輸入系統及方法，是一種高效、準確、快速的適用于混合現實中移動場景輸入的輸入方式。注視點跟蹤模塊用于跟蹤獲取用戶的眼睛注視點信息，送入信息處理模塊。手部手勢檢測模塊用于檢測用戶微手勢，得到微手勢輸入信息，送入信息處理模塊。信息處理模塊預先將待輸入字符進行分組，每組字符對應一個字符區域；信息處理模塊接收到眼睛注視點信息之后，根據預先設定的眼睛注視點信息與字符區域的對應關系選取字符區域；信息處理模塊在接收到微手勢輸入信息之后，根據預先設定的微手勢輸入信息與字符區域內字符的對應關系選取字符作為輸入結果。顯示模塊，用于針對輸入結果進行顯示。

技術領域

本發明涉及輸入方式技術領域，具體涉及一種基于眼動以及手指微手勢的文本輸入系統及方法。

背景技術

目前虛擬現實等頭戴式顯示器中多使用空中射線與虛擬字母的碰撞檢測進行文本輸入，需要依賴手柄控制、手部指向方向(例如oculus quest中的手指向輸入)等等，輸入效率較低，此外，手部指向方向預測易產生誤差，影響輸入效率，這些原因導致不能高效的進行文本輸入。

眼睛注視點雖然已經被嘗試用于物體(包括字符)的選擇，但目前設備受標定、分辨率、跟蹤空間大小、光照、人眼差異、眼鏡等光學輔助設備，以及人眼本身的無意識眼動、中心凹等的影響，精度較低，選擇較小的物體效率低、精度低；此外，目前常使用駐留時間閾值來確定選擇會造成誤選。通過使用注視點選擇包含多個字母的區域，在相同的空間內多個字母組成的區域對應更大的空間，可以提高視點注視點的準確性，同時使用手指微手勢作為確定選擇避免了駐留造成的誤選問題。

文章“Gaze-Assisted Typing for Smart Glasses”該輸入技術使用兩步輸入法進行輸入，對應的虛擬鍵盤包括幾個區域，每個區域包含幾個字母，通過使用用戶注視點來確定所選擇的區域，然后通過不同的滑動手勢進行具體字符的選擇。。

該方式需要使用觸摸面板以識別手勢，用戶需要在眼鏡位置進行手勢操作，長時間容易造成手部疲勞，此外，滑動手勢識別也具有一定誤差。

因手部感知較高的準確性，手勢以及微手勢也被常用于輸入，目前較多的是通過手勢作為輸入確定信號，但是手勢具有個數限制，并且不是每個手勢都具有較高的舒適度，適合于大量多次的輸入確定，而文本輸入中至少包含了26個字母以及空格、刪除、回車等功能鍵，手勢輸入并不能很好的覆蓋這些字符的輸入；最常用的拇指和其他手指指尖的捏合手勢具有較高的舒適度，但是其每只手只具有4個捏合手勢；也可用拇指點擊手指手掌面上不同區域來進行文本的輸入，但是，輸入區域也較為有限，很難精確的分為26及其以上個區域。但是，可以利用捏合手勢來進行幾個字符的準確快速選擇。

文章“FingerT9:Leveraging Thumb-to-finger Interaction for Same-side-hand Text Entry on Smartwatches”公開了一種基于手指微手勢的文本輸入方式，該輸入方式將手指出拇指以外的四指每個手指根據關節劃分為三個區域，其中小指劃分為兩個區域，一共對應11個區域，對應到T9鍵盤，在這些區域分別放置傳感器，用于檢測拇指的點擊動作，用于文本輸入。

該方式需要將手指劃分多個區域，拇指長時間點擊某些區域會造成不舒適，并且該方式基于T9鍵盤輸入法，每次點擊字母具有歧義性，需要使用算法來預測輸入單詞才能進行輸入，會降低輸入效率，此外，對于單個字符的輸入較為困難。

因此目前缺少一種高效、準確、快速的適用于一動場景輸入的輸入方式。

發明內容

有鑒于此，本發明提供了一種基于眼動以及手指微手勢的文本輸入系統及方法，是一種高效、準確、快速的適用于移動場景輸入的輸入方式。

為達到上述目的，本發明的技術方案為：一種基于眼動以及手指微手勢的文本輸入系統，包括注視點跟蹤模塊、手部微手勢檢測模塊、信息處理模塊以及顯示模塊。