[發(fā)明專利]一種基于眼動以及手指微手勢的文本輸入系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202010455791.2
• 申請日: 2020-05-26
• 公開（公告）號: CN111831112A
• 公開（公告）日: 2020-10-27
• 發(fā)明（設(shè)計）人: 翁冬冬;江海燕;胡翔
• 申請（專利權(quán)）人: 北京理工大學(xué);南昌虛擬現(xiàn)實檢測技術(shù)有限公司;南昌新世紀(jì)會展中心有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/023;G06F3/0487
• 代理公司: 北京理工大學(xué)專利中心 11120
• 代理人: 高會允

1.一種基于眼動以及手指微手勢的文本輸入系統(tǒng)，其特征在于，包括：注視點跟蹤模塊、手部微手勢檢測模塊、信息處理模塊以及顯示模塊；

所述注視點跟蹤模塊，用于跟蹤獲取用戶的眼睛注視點信息，送入所述信息處理模塊；

所述手部手勢檢測模塊，用于檢測用戶微手勢，得到微手勢輸入信息，送入所述信息處理模塊；所述微手勢包括手指的點擊和滑動動作；

所述信息處理模塊，預(yù)先將待輸入字符進行分組，每組字符對應(yīng)一個字符區(qū)域；所述信息處理模塊接收到所述眼睛注視點信息之后，根據(jù)預(yù)先設(shè)定的眼睛注視點信息與字符區(qū)域的對應(yīng)關(guān)系選取字符區(qū)域；所述信息處理模塊在接收到所述微手勢輸入信息之后，根據(jù)預(yù)先設(shè)定的微手勢輸入信息與字符區(qū)域內(nèi)字符的對應(yīng)關(guān)系選取字符作為輸入結(jié)果；

所述顯示模塊，用于針對所述輸入結(jié)果進行顯示。

2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述眼睛注視點信息為所述眼睛注視點信息為眼睛注視點的空間位置；所述眼睛注視點跟蹤模塊為外置或者內(nèi)嵌在頭戴式顯示器的眼動跟蹤設(shè)備。

3.如權(quán)利要求1或2所述的系統(tǒng)，其特征在于，所述手部手勢檢測模塊，用于檢測用戶微手勢，得到微手勢輸入信息，具體為：

若檢測到用戶微手勢為手指的點擊動作，則獲取手指點擊動作作為所述微手勢輸入信息；若檢測到用戶微手勢為手指的滑動動作，則獲取手指滑動動作向量，以手指滑動動作向量作為微手勢輸入信息。

4.如權(quán)利要求3所述的系統(tǒng)，其特征在于，所述預(yù)先設(shè)定的眼睛注視點信息與字符區(qū)域的對應(yīng)關(guān)系為：眼睛注視點信息與字符區(qū)域設(shè)定的對應(yīng)關(guān)系；或者是眼睛注視點與字符區(qū)域在空間位置上的對應(yīng)關(guān)系，每個字符區(qū)域分布在用戶視力所及的空間位置處；

所述預(yù)先設(shè)定的微手勢輸入信息與字符區(qū)域內(nèi)字符的對應(yīng)關(guān)系為：微手勢輸入信息與字符區(qū)域的設(shè)定的對應(yīng)關(guān)系；或者是微手勢與字符的空間位置上的對應(yīng)關(guān)系，其中字符分布在對應(yīng)字符區(qū)域內(nèi)。

5.如權(quán)利要求1、2或4所述的系統(tǒng)，其特征在于，所述顯示模塊為頭戴式顯示器HMD或者其他混合現(xiàn)實設(shè)備。

6.一種基于眼動以及手指微手勢的文本輸入方法，其特征在于，包括如下步驟：

S1、進行用戶眼睛注視點跟蹤，得到用戶的眼睛注視點信息；

S2、根據(jù)預(yù)先設(shè)定的眼睛注視點信息與字符區(qū)域的對應(yīng)關(guān)系，選取字符區(qū)域；

S3、進行用戶微手勢檢測，得到微手勢輸入信息；

S4、根據(jù)預(yù)先設(shè)定的微手勢輸入信息與字符區(qū)域內(nèi)字符的對應(yīng)關(guān)系，選取字符作為輸入結(jié)果；

S5、將所述輸入結(jié)果進行顯示。

7.如權(quán)利要求6所述的方法，其特征在于，所述眼睛注視點信息為眼睛注視點的空間位置。

8.如權(quán)利要求7所述的方法，其特征在于，所述進行用戶微手勢檢測，得到微手勢輸入信息，具體為：

若檢測到用戶微手勢為手指的點擊動作，則獲取不同的手指點擊動作作為所述微手勢輸入信息；若檢測到用戶微手勢為手指的滑動動作，則獲取手指滑動動作向量，以手指不同的滑動動作向量微手勢輸入信息。