[發明專利]一種基于眼動以及手指微手勢的文本輸入系統及方法

在審

• 申請號: 202010455791.2
• 申請日: 2020-05-26
• 公開（公告）號: CN111831112A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 翁冬冬;江海燕;胡翔
• 申請（專利權）人: 北京理工大學;南昌虛擬現實檢測技術有限公司;南昌新世紀會展中心有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/023;G06F3/0487
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 高會允

1.一種基于眼動以及手指微手勢的文本輸入系統，其特征在于，包括：注視點跟蹤模塊、手部微手勢檢測模塊、信息處理模塊以及顯示模塊；

所述注視點跟蹤模塊，用于跟蹤獲取用戶的眼睛注視點信息，送入所述信息處理模塊；

所述手部手勢檢測模塊，用于檢測用戶微手勢，得到微手勢輸入信息，送入所述信息處理模塊；所述微手勢包括手指的點擊和滑動動作；

所述信息處理模塊，預先將待輸入字符進行分組，每組字符對應一個字符區域；所述信息處理模塊接收到所述眼睛注視點信息之后，根據預先設定的眼睛注視點信息與字符區域的對應關系選取字符區域；所述信息處理模塊在接收到所述微手勢輸入信息之后，根據預先設定的微手勢輸入信息與字符區域內字符的對應關系選取字符作為輸入結果；

所述顯示模塊，用于針對所述輸入結果進行顯示。

2.如權利要求1所述的系統，其特征在于，所述眼睛注視點信息為所述眼睛注視點信息為眼睛注視點的空間位置；所述眼睛注視點跟蹤模塊為外置或者內嵌在頭戴式顯示器的眼動跟蹤設備。

3.如權利要求1或2所述的系統，其特征在于，所述手部手勢檢測模塊，用于檢測用戶微手勢，得到微手勢輸入信息，具體為：

若檢測到用戶微手勢為手指的點擊動作，則獲取手指點擊動作作為所述微手勢輸入信息；若檢測到用戶微手勢為手指的滑動動作，則獲取手指滑動動作向量，以手指滑動動作向量作為微手勢輸入信息。

4.如權利要求3所述的系統，其特征在于，所述預先設定的眼睛注視點信息與字符區域的對應關系為：眼睛注視點信息與字符區域設定的對應關系；或者是眼睛注視點與字符區域在空間位置上的對應關系，每個字符區域分布在用戶視力所及的空間位置處；

所述預先設定的微手勢輸入信息與字符區域內字符的對應關系為：微手勢輸入信息與字符區域的設定的對應關系；或者是微手勢與字符的空間位置上的對應關系，其中字符分布在對應字符區域內。

5.如權利要求1、2或4所述的系統，其特征在于，所述顯示模塊為頭戴式顯示器HMD或者其他混合現實設備。

6.一種基于眼動以及手指微手勢的文本輸入方法，其特征在于，包括如下步驟：

S1、進行用戶眼睛注視點跟蹤，得到用戶的眼睛注視點信息；

S2、根據預先設定的眼睛注視點信息與字符區域的對應關系，選取字符區域；

S3、進行用戶微手勢檢測，得到微手勢輸入信息；

S4、根據預先設定的微手勢輸入信息與字符區域內字符的對應關系，選取字符作為輸入結果；

S5、將所述輸入結果進行顯示。

7.如權利要求6所述的方法，其特征在于，所述眼睛注視點信息為眼睛注視點的空間位置。

8.如權利要求7所述的方法，其特征在于，所述進行用戶微手勢檢測，得到微手勢輸入信息，具體為：

若檢測到用戶微手勢為手指的點擊動作，則獲取不同的手指點擊動作作為所述微手勢輸入信息；若檢測到用戶微手勢為手指的滑動動作，則獲取手指滑動動作向量，以手指不同的滑動動作向量微手勢輸入信息。