[發(fā)明專利]一種視線跟蹤方法及用于執(zhí)行所述方法的終端

在審

• 申請?zhí)枺?/td>: 201980001858.0
• 申請日: 2019-03-08
• 公開（公告）號: CN110546596A
• 公開（公告）日: 2019-12-06
• 發(fā)明（設(shè)計(jì)）人: 石胤贊;李泰喜
• 申請（專利權(quán)）人: 視信有限責(zé)任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/00;G06K9/00;G06N20/00
• 代理公司: 51258 成都超凡明遠(yuǎn)知識產(chǎn)權(quán)代理有限公司
• 代理人: 金相允;梁香美<國際申請>=PCT/KR

本發(fā)明公開了一種視線跟蹤方法及用于執(zhí)行所述方法的終端。根據(jù)本發(fā)明一實(shí)施例的終端是一種用于基于累積與視線信息相關(guān)的多個學(xué)習(xí)數(shù)據(jù)的第一視線跟蹤模型來跟蹤視線的終端，其包括：數(shù)據(jù)收集單元，用于使用拍攝設(shè)備獲取用戶的面部圖像，并從所述面部圖像中提取所述用戶的視線信息；數(shù)據(jù)傳輸單元，用于將所述用戶的視線信息和所述終端屏幕中所述用戶的視線指向的地點(diǎn)的位置信息傳輸給服務(wù)器；模型接收單元，用于從所述服務(wù)器接收在所述第一視線跟蹤模型中學(xué)習(xí)了所述用戶的視線信息和所述位置信息的第二視線跟蹤模型；以及視線跟蹤單元，用于使用所述第二視線跟蹤模型來跟蹤所述用戶的視線。

技術(shù)領(lǐng)域

本發(fā)明的實(shí)施例涉及一種視線跟蹤技術(shù)。

背景技術(shù)

視線跟蹤(Eye Tracking)是通過檢測用戶的眼球運(yùn)動來跟蹤視線位置的技術(shù)，并可以使用影像分析方法、隱形眼鏡方法、傳感器附接方法等。影像分析方法通過分析實(shí)時相機(jī)圖像來檢測瞳孔的移動，并基于角膜上反射的固定位置來計(jì)算視線的方向。隱形眼鏡方法使用鏡子內(nèi)置的隱形眼鏡的反射光或線圈內(nèi)置的隱形眼鏡的磁場等，其便利性低但準(zhǔn)確度高。傳感器附接方法通過將傳感器附接于眼睛周圍以使用根據(jù)眼睛運(yùn)動的電場變化來檢測眼睛運(yùn)動，并即使在眼睛閉合(睡眠等)時也可以檢測到眼球運(yùn)動。

近來，視線跟蹤技術(shù)的應(yīng)用目標(biāo)設(shè)備和應(yīng)用領(lǐng)域逐漸擴(kuò)展，所以當(dāng)在如智能手機(jī)等的終端中提供廣告服務(wù)時，利用所述視線跟蹤技術(shù)的嘗試正在增加。另外，通過將基于深度學(xué)習(xí)的人工智能和視線跟蹤技術(shù)相結(jié)合來提供各種服務(wù)的應(yīng)用實(shí)例越來越多。

然而，每個用戶的眼球運(yùn)動可以不同，所以每個用戶的凝視特定地點(diǎn)的凝視模式也可以略微不同。因此，僅使用統(tǒng)一的視線信息，難以實(shí)現(xiàn)針對用戶優(yōu)化的視線跟蹤模型，并視線跟蹤的準(zhǔn)確性也會降低。

發(fā)明內(nèi)容

發(fā)明要解決的問題

本發(fā)明的實(shí)施例旨在通過使用針對用戶優(yōu)化的視線跟蹤模型以跟蹤該用戶的視線來提高視線跟蹤的準(zhǔn)確度。

用于解決問題的技術(shù)方案

根據(jù)本發(fā)明一實(shí)施例的終端是一種用于基于累積與視線信息相關(guān)的多個學(xué)習(xí)數(shù)據(jù)的第一視線跟蹤模型來跟蹤視線的終端，其包括：數(shù)據(jù)收集單元，用于使用拍攝設(shè)備獲取用戶的面部圖像，并從所述面部圖像中提取所述用戶的視線信息；數(shù)據(jù)傳輸單元，用于將所述用戶的視線信息和所述終端屏幕中所述用戶的視線指向的地點(diǎn)的位置信息傳輸給服務(wù)器；模型接收單元，用于從所述服務(wù)器接收在所述第一視線跟蹤模型中學(xué)習(xí)了所述用戶的視線信息和所述位置信息的第二視線跟蹤模型；以及視線跟蹤單元，用于使用所述第二視線跟蹤模型來跟蹤所述用戶的視線。

所述第二視線跟蹤模型通過以下方式來生成：分別對所述累積的學(xué)習(xí)數(shù)據(jù)與所述用戶的視線信息及所述位置信息分配預(yù)設(shè)的彼此不同的權(quán)重并進(jìn)行學(xué)習(xí)，并將所述分配權(quán)重的學(xué)習(xí)數(shù)據(jù)與所述用戶的視線信息及所述位置信息輸入到第一視線跟蹤模型。

所述第二視線跟蹤模型可以基于每個用戶而不同。

應(yīng)用所述用戶的視線信息和所述位置信息的所述第一視線跟蹤模型或所述第二視線跟蹤模型可以從所述服務(wù)器分發(fā)到另一終端。

當(dāng)所述用戶凝視設(shè)置在所述終端屏幕中的多個地點(diǎn)時，所述數(shù)據(jù)收集單元可以從在凝視每個地點(diǎn)時拍攝的所述用戶的每個面部圖像中提取所述用戶的視線信息，所述數(shù)據(jù)傳輸單元可以將所述用戶的視線信息和所述地點(diǎn)的各個位置信息傳輸給所述服務(wù)器。

當(dāng)從凝視所述屏幕中所述地點(diǎn)的用戶接收設(shè)定動作的輸入時，所述數(shù)據(jù)收集單元可以判斷接收所述動作輸入的時間點(diǎn)作為所述用戶凝視所述地點(diǎn)的時間點(diǎn)。

接收所述動作輸入的時間點(diǎn)可以包括所述用戶觸摸所述地點(diǎn)的時間點(diǎn)、和當(dāng)所述用戶在顯示所述地點(diǎn)處設(shè)定的短語時發(fā)出語音時的所述語音開始發(fā)出的時間點(diǎn)中的至少一個。