[發(fā)明專利]用于注視交互的系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710584409.6
• 申請(qǐng)日: 2012-12-17
• 公開(kāi)（公告）號(hào): CN107368191B
• 公開(kāi)（公告）日: 2020-09-25
• 發(fā)明（設(shè)計(jì)）人: 馬庫(kù)斯·塞德隆德;羅伯特·加韋林;安德斯·文斯特羅姆;安德斯·卡普蘭;安德斯·奧爾森;馬丁·斯克戈
• 申請(qǐng)（專利權(quán)）人: 托比股份公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F3/0488;G02B27/01
• 代理公司: 上海脫穎律師事務(wù)所 31259
• 代理人: 脫穎

本發(fā)明提供了用于當(dāng)用戶與圖形用戶界面交互時(shí)通過(guò)將基于注視的輸入與基于手勢(shì)的用戶命令相結(jié)合來(lái)輔助用戶的改善方法和系統(tǒng)。本發(fā)明提供了使用基于注視的輸入和基于手勢(shì)的用戶命令的組合使不具有傳統(tǒng)觸摸屏的計(jì)算機(jī)系統(tǒng)的用戶能夠以觸摸屏式方式與圖形用戶界面交互的系統(tǒng)、設(shè)備和方法。此外，本發(fā)明提供了例如在與常規(guī)觸摸屏的交互難使用或者富有人體工程學(xué)挑戰(zhàn)的情形下作為與具有觸摸屏的計(jì)算機(jī)設(shè)備的觸摸屏交互的補(bǔ)充或替代的使用注視輸入和基于手勢(shì)的輸入的觸摸屏式交互的解決方案。此外，本發(fā)明提供了用于與圖形用戶界面進(jìn)行基于組合的注視和手勢(shì)的交互以在不具有傳統(tǒng)觸摸屏的計(jì)算機(jī)系統(tǒng)中或者在具有被布置為在人體工程學(xué)上不利于用戶的觸摸屏或者被布置為使得與觸摸屏相比用戶更適合使用手勢(shì)和注視來(lái)進(jìn)行交互的觸摸屏的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)觸摸屏式環(huán)境的系統(tǒng)、設(shè)備和方法。

本申請(qǐng)是申請(qǐng)?zhí)枮?01280070732.7，題為“用于注視交互的系統(tǒng)”的中國(guó)專利申請(qǐng)的分案申請(qǐng)。

技術(shù)領(lǐng)域

本發(fā)明大體上涉及用于利用與交互式圖形用戶界面相結(jié)合的眼睛移動(dòng)檢測(cè)的計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)和方法。具體地，本發(fā)明涉及用于在用戶與圖形用戶界面交互時(shí)通過(guò)將基于眼睛的輸入與基于手勢(shì)的輸入和基于手勢(shì)的用戶命令進(jìn)行結(jié)合來(lái)輔助用戶的系統(tǒng)和方法。

背景技術(shù)

已經(jīng)通過(guò)引入圖形用戶界面(GUI)使人機(jī)交互發(fā)生革命性巨變。由此，提供了用于以極大地超出任何先前信道的帶寬向用戶呈現(xiàn)信息的有效方式。多年以來(lái)，已經(jīng)通過(guò)彩色屏幕、增大的顯示器、智能圖形對(duì)象(例如，彈出窗口)、窗口標(biāo)簽、菜單、工具欄等進(jìn)一步提高了可以呈現(xiàn)信息的速度。然而，在此期間，輸入設(shè)備基本上保持不變，即，鍵盤和定點(diǎn)設(shè)備(例如，鼠標(biāo)、跟蹤球或觸摸板)。近年來(lái)，已經(jīng)引入了(例如，手寫筆或圖形筆形式的)手寫設(shè)備。然而，雖然輸出帶寬已經(jīng)增加了很多倍，但是輸入帶寬實(shí)質(zhì)上未改變。因此，人機(jī)交互中的通信帶寬的嚴(yán)重不對(duì)稱性已經(jīng)顯現(xiàn)。為了減小這種帶寬不對(duì)稱性以及為了改善和促進(jìn)用戶交互，已經(jīng)進(jìn)行了多種嘗試來(lái)將眼睛跟蹤用于這些目的。通過(guò)在例如膝上型計(jì)算機(jī)中實(shí)現(xiàn)眼睛跟蹤設(shè)備，可以顯著提高用戶與在計(jì)算機(jī)上運(yùn)行的不同軟件應(yīng)用之間的交互可能性。

因此，一種用于改善和促進(jìn)用戶交互并且用于移除帶寬不對(duì)稱性的令人關(guān)注的思想是：取而代之地使用眼睛注視跟蹤，或者使用眼睛注視跟蹤作為鼠標(biāo)輸入的補(bǔ)充。通常，根據(jù)計(jì)算出的用戶注視點(diǎn)將光標(biāo)定位在顯示器上。已經(jīng)提出了多種不同的技術(shù)以在這些系統(tǒng)中選擇和激活目標(biāo)對(duì)象。在一個(gè)示例中，在檢測(cè)到用戶在特定時(shí)間段期間將他或她的注視集中在特定對(duì)象處之后，系統(tǒng)激活對(duì)象。另一種方法是當(dāng)用戶眨眼時(shí)檢測(cè)對(duì)象的激活。然而，存在與這些使用眼睛跟蹤的解決方案相關(guān)聯(lián)的問(wèn)題。例如，人類將其眼睛用于感知?jiǎng)幼鞫皇强刂啤Ｒ虼耍⌒牡厥褂醚劬σ苿?dòng)來(lái)與計(jì)算機(jī)交互以例如激活和選擇呈現(xiàn)在計(jì)算機(jī)的顯示器上的對(duì)象可能是充滿壓力的。還可能難以控制眨眼或凝視，以與呈現(xiàn)在顯示器上的對(duì)象進(jìn)行交互。因此，本領(lǐng)域中需要改善技術(shù)，該技術(shù)實(shí)現(xiàn)與配備有眼睛跟蹤設(shè)備的計(jì)算機(jī)的用戶交互從而允許用戶以更直觀和自然的方式使用他或她的眼睛來(lái)控制、選擇和激活呈現(xiàn)在計(jì)算機(jī)的顯示器上的對(duì)象或?qū)ο蟮囊徊糠帧４送猓诒绢I(lǐng)域中還需要以更有效的方式利用使用眼睛跟蹤的潛力以改善和促進(jìn)與計(jì)算機(jī)的用戶交互的技術(shù)。

在Beymer等的美國(guó)專利申請(qǐng)(公開(kāi)號(hào)2005/0243054)中給出了一種這樣的嘗試，在該專利申請(qǐng)中，公開(kāi)了一種用于使用眼睛注視和鍵按壓來(lái)選擇和激活目標(biāo)對(duì)象的技術(shù)。更具體地，用戶注視目標(biāo)對(duì)象，例如，圖形用戶界面上的按鈕，然后按壓鍵盤的選擇鍵。一旦按壓了選擇鍵，就使用概率推理確定了最可能的目標(biāo)。然后，所確定的目標(biāo)對(duì)象被突出顯示并且用戶可以通過(guò)再次按壓選擇鍵來(lái)選擇該目標(biāo)對(duì)象。如果突出顯示的對(duì)象不是目標(biāo)對(duì)象，則用戶可以使用額外鍵導(dǎo)航至期望的目標(biāo)對(duì)象來(lái)選擇另一目標(biāo)對(duì)象。

然而，該技術(shù)局限于基于眼睛注視與對(duì)一個(gè)專用選擇鍵的兩次連續(xù)按壓的組合的對(duì)象選擇和激活。