[發(fā)明專利]一種眼動(dòng)跟蹤方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010700876.2
• 申請(qǐng)日: 2020-07-20
• 公開(kāi)（公告）號(hào): CN111966219A
• 公開(kāi)（公告）日: 2020-11-20
• 發(fā)明（設(shè)計(jì)）人: 閆野;馬權(quán)智;印二威;鄧寶松;劉冠軍;宋明武;范曉麗;謝良
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍軍事科學(xué)院國(guó)防科技創(chuàng)新研究院;天津（濱海）人工智能軍民融合創(chuàng)新中心
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 劉廣達(dá)

本發(fā)明公開(kāi)了一種眼動(dòng)跟蹤方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，包括：獲取有眼鏡人員眼部圖像和無(wú)眼鏡人員眼部圖像作為數(shù)據(jù)集；根據(jù)所述數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型；根據(jù)所述神經(jīng)網(wǎng)絡(luò)模型對(duì)有眼鏡人員眼部圖像進(jìn)行預(yù)處理；根據(jù)所述預(yù)處理后的圖像進(jìn)行眼動(dòng)跟蹤。本發(fā)明的眼動(dòng)跟蹤方法，可以對(duì)戴眼鏡人員的眼部圖像進(jìn)行預(yù)處理，使得戴眼鏡人員也能同普通人一樣進(jìn)行高精度的眼動(dòng)跟蹤，同時(shí)可以無(wú)縫對(duì)接眼動(dòng)跟蹤算法。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種眼動(dòng)跟蹤方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

眼動(dòng)跟蹤(eye tracking)指通過(guò)測(cè)量眼睛的注視點(diǎn)的位置或者眼球相對(duì)頭部的運(yùn)動(dòng)而實(shí)現(xiàn)對(duì)眼球運(yùn)動(dòng)的追蹤。

目前眼動(dòng)跟蹤方法多基于視頻的光學(xué)記錄法，通過(guò)相機(jī)拍攝人眼圖像，根據(jù)人眼圖像信息來(lái)分析眼睛的注視方向。光學(xué)記錄法又可以分為無(wú)光源輔助和有光源輔助。在無(wú)光源輔助時(shí)，只依靠攝像機(jī)捕獲人眼圖像，利用圖像處理算法提取眼部特征，結(jié)構(gòu)簡(jiǎn)單但算法復(fù)雜，有光源輔助時(shí)，用特殊光源如紅外光照射眼睛，使眼睛產(chǎn)生反射亮斑或亮暗瞳現(xiàn)象，可以輔助計(jì)算人眼的視線方向。雖然增加光源輔助提升了眼動(dòng)跟蹤系統(tǒng)的硬件配置，但由于提取視線方向簡(jiǎn)單，本領(lǐng)域技術(shù)人員多使用有光源輔助的光學(xué)記錄法。

但是對(duì)于戴眼鏡人員而言，在光源照射戴眼鏡人員的眼睛時(shí)，由于眼鏡會(huì)反光，會(huì)產(chǎn)生多余的光斑，這會(huì)使得眼部特征被遮擋甚至不可見(jiàn)，極大影響了眼動(dòng)跟蹤的精度甚至無(wú)法跟蹤。

發(fā)明內(nèi)容

本公開(kāi)實(shí)施例提供了一種眼動(dòng)跟蹤方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。為了對(duì)披露的實(shí)施例的一些方面有一個(gè)基本的理解，下面給出了簡(jiǎn)單的概括。該概括部分不是泛泛評(píng)述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實(shí)施例的保護(hù)范圍。其唯一目的是用簡(jiǎn)單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說(shuō)明的序言。

第一方面，本公開(kāi)實(shí)施例提供了一種眼動(dòng)跟蹤方法，包括：

獲取有眼鏡人員眼部圖像和無(wú)眼鏡人員眼部圖像作為數(shù)據(jù)集；

根據(jù)數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)神經(jīng)網(wǎng)絡(luò)模型對(duì)有眼鏡人員眼部圖像進(jìn)行預(yù)處理；

根據(jù)預(yù)處理后的圖像進(jìn)行眼動(dòng)跟蹤。

進(jìn)一步地，獲取有眼鏡人員眼部圖像和無(wú)眼鏡人員眼部圖像作為數(shù)據(jù)集，包括：

將數(shù)據(jù)集劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。

進(jìn)一步地，根據(jù)數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，包括：

將有眼鏡人員眼部圖像作為神經(jīng)網(wǎng)絡(luò)模型的輸入，將無(wú)眼鏡人員眼部圖像作為神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)，通過(guò)梯度下降法最小化損失函數(shù)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。

進(jìn)一步地，根據(jù)神經(jīng)網(wǎng)絡(luò)模型對(duì)有眼鏡人員眼部圖像進(jìn)行預(yù)處理之前，還包括：

判斷眼部圖像是否是有眼鏡人員眼部圖像；

當(dāng)是有眼鏡人員眼部圖像時(shí)，根據(jù)神經(jīng)網(wǎng)絡(luò)模型對(duì)有眼鏡人員眼部圖像進(jìn)行預(yù)處理。

進(jìn)一步地，根據(jù)神經(jīng)網(wǎng)絡(luò)模型對(duì)有眼鏡人員眼部圖像進(jìn)行預(yù)處理，包括：

根據(jù)神經(jīng)網(wǎng)絡(luò)模型對(duì)有眼鏡人員眼部圖像進(jìn)行消除多余光斑和消除眼鏡的處理。

進(jìn)一步地，根據(jù)預(yù)處理后的圖像進(jìn)行眼動(dòng)跟蹤，包括：

通過(guò)眼動(dòng)跟蹤算法對(duì)預(yù)處理后的圖像進(jìn)行眼動(dòng)跟蹤。

進(jìn)一步地，眼動(dòng)跟蹤算法包括基于外觀的眼動(dòng)跟蹤算法或基于特征的眼動(dòng)跟蹤算法。

第二方面，本公開(kāi)實(shí)施例提供了一種眼動(dòng)跟蹤裝置，包括：

獲取模塊，用于獲取有眼鏡人員眼部圖像和無(wú)眼鏡人員眼部圖像作為數(shù)據(jù)集；