[發(fā)明專利]一種用于移動設(shè)備人機(jī)交互的眼動跟蹤方法

在審

• 申請?zhí)枺?/td>: 201410567233.X
• 申請日: 2014-10-22
• 公開（公告）號: CN105589551A
• 公開（公告）日: 2016-05-18
• 發(fā)明（設(shè)計）人: 褚秀清
• 申請（專利權(quán)）人: 褚秀清
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/60
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明屬于設(shè)施農(nóng)業(yè)自動灌溉領(lǐng)域，具體地涉及一種用于移動設(shè)備人機(jī)交互的眼動跟蹤方法。

背景技術(shù)

眼動跟蹤（eyetracking），又稱視線追蹤，用于測量用戶注視點(diǎn)或視線方向。一方面，眼動跟蹤可對用戶視覺行為和認(rèn)知活動進(jìn)行分析，例如心理學(xué)

中的認(rèn)知實(shí)驗(yàn)、用戶界面可用性評估；另一方面，也可以作為一種替代鼠標(biāo)和鍵盤的新型輸入技術(shù)，例如眼控打字系統(tǒng)、眼動驅(qū)動的自適應(yīng)用戶界面系統(tǒng)。但這些應(yīng)用都基于實(shí)驗(yàn)室內(nèi)固定式眼動跟蹤系統(tǒng)展開，無法在真實(shí)環(huán)境（非實(shí)驗(yàn)室的移動環(huán)境）中支持眼動跟蹤數(shù)據(jù)的分析及相關(guān)的人機(jī)交互應(yīng)用。例如在一個會議場景中，用戶配備移動式眼動交互系統(tǒng)，當(dāng)２個用戶互相注視對方時系統(tǒng)會自動交換他們的名片信息。

目前，主流的眼動跟蹤方法基于數(shù)字眼動視頻對眼球圖像進(jìn)行處理，從而獲取用戶當(dāng)前的視線方向或注視點(diǎn)（視線與屏幕的交點(diǎn)），主要包括瞳孔－角膜反射法（pupilcentercorneareflection，PCCR）、角膜反射矩陣法、橢圓法線法。其中，PCCR應(yīng)用最廣，它采用紅外光源照射角膜，由于角膜和虹膜對紅外光的反射率不同，因此可以獲得清晰的瞳孔圖像。紅外光源照射角膜產(chǎn)生的反光斑點(diǎn)也稱為普洱欽斑，而瞳孔中心點(diǎn)和普洱欽斑中心點(diǎn)構(gòu)成的向量會隨著眼球的運(yùn)動而變化，所以利用該向量建立映射模型就可以計算出用戶視線方向。PCCR中的視線映射模型包括二維映射和三維映射2種。前者只需要單相機(jī)（或攝像頭），硬件配置簡單，且僅提取眼球圖像的平面特征參數(shù)，計算簡便，但計算精度相對較低；后者雖然計算精度較高，但至少需要雙相機(jī)、雙光源，硬件配置要求高，且需要相機(jī)標(biāo)定、光源標(biāo)定和位置標(biāo)定，計算過程復(fù)雜。如果能進(jìn)一步提高二維映射模型的精度和魯棒性，將會有更大的實(shí)用價值和推廣意義。為此，研究人員對傳統(tǒng)的基于二維映射模型的PCCR進(jìn)行了改進(jìn)。例如，利用單片機(jī)控制內(nèi)外環(huán)紅外光源的交替亮滅，分別產(chǎn)生亮瞳和暗瞳圖像，然后通過差分方法得到瞳孔圖像，進(jìn)而使用一種瞳孔邊緣濾波算法和三通道偽彩色圖檢測瞳孔，解決了紅外條件下瞳孔定位誤差較大等問題。但這類方法仍存在不足：1）為了分別獲取亮瞳和暗瞳的差分圖像，系統(tǒng)對紅外光源的控制過程復(fù)雜，并造成紅外光源部件結(jié)構(gòu)復(fù)雜、體積較大，只能設(shè)計成桌面固定式眼動系統(tǒng)；2）對普洱欽斑的檢測算法比較簡單，沒有考慮在實(shí)際應(yīng)用中普洱欽斑經(jīng)常會產(chǎn)生形變、丟失等情況，導(dǎo)致算法魯棒性較低。可見，已有研究還存在數(shù)據(jù)采樣精度較低、設(shè)備體積和質(zhì)量較大等問題，難以支持移動交互應(yīng)用。

傳統(tǒng)眼動跟蹤設(shè)備構(gòu)造復(fù)雜、體積和重量大，通常只能以桌面固定方式使用，無法支持普適計算環(huán)境下的移動式交互。

發(fā)明內(nèi)容

本發(fā)明就是針對移動交互應(yīng)用提出與之相適應(yīng)的眼動跟蹤方法，即一種用于移動設(shè)備人機(jī)交互的眼動跟蹤方法；該系統(tǒng)舒適度適中，并具有較高精度和魯棒性、較高可行性和有效性。

為實(shí)現(xiàn)本發(fā)明的上述目的，本發(fā)明采用如下技術(shù)方案。

本發(fā)明一種用于移動設(shè)備人機(jī)交互的眼動跟蹤方法，包括眼動圖像處理層、眼動特征檢測層、眼動數(shù)據(jù)計算層和眼動交互應(yīng)用層；所述眼動圖像處理層包括圖像獲取、圖像預(yù)處理：濾波/二值化；所述眼動特征檢測層包括瞳孔檢測、瞳孔定位、瞳孔邊緣擬合、普洱欽斑檢測、模板匹配；所述眼動數(shù)據(jù)計算層包括注視點(diǎn)坐標(biāo)、瞳孔-角膜反射向量、注視點(diǎn)標(biāo)定、其他數(shù)據(jù)、瞳孔直徑；所述眼動交互應(yīng)用層包括感興趣區(qū)選取/切換、具體交互應(yīng)用。

作為本發(fā)明的一種優(yōu)選方案，所述眼動圖像處理層使用紅外攝像裝置獲取眼球圖像，并進(jìn)行圖像預(yù)處理，為后續(xù)的眼動特征檢測提供基礎(chǔ)。

作為本發(fā)明的另一種優(yōu)選方案，所述眼動特征檢測層對瞳孔的中心和普洱欽斑的大小、位置等特征進(jìn)行檢測。

作為本發(fā)明的另一種優(yōu)選方案，所述眼動數(shù)據(jù)計算層包括建立瞳孔－角膜反射向量，進(jìn)而通過該向量映射、求解注視點(diǎn)在屏幕上的坐標(biāo)，還可以計算瞳孔直徑等其他眼動數(shù)據(jù)。

作為本發(fā)明的另一種優(yōu)選方案，所述眼動交互應(yīng)用層進(jìn)一步分析和處理眼動數(shù)據(jù)，采用其驅(qū)動交互應(yīng)用。

本發(fā)明的有益效果是。