[發(fā)明專利]確定用戶觸發(fā)意圖的方法、設(shè)備和存儲器設(shè)備

在審

• 申請?zhí)枺?/td>: 201810024682.8
• 申請日: 2018-01-10
• 公開（公告）號: CN110018733A
• 公開（公告）日: 2019-07-16
• 發(fā)明（設(shè)計）人: 張輝;郭天楚;錢德恒;劉夏冰;金暎星;兪炳仁;韓在濬;崔昌圭
• 申請（專利權(quán)）人: 北京三星通信技術(shù)研究有限公司;三星電子株式會社
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 趙偉

本公開實施例提供了一種用于確定用戶的觸發(fā)意圖的方法。該方法包括：獲取用戶的至少一幅第一臉部圖像；基于所述至少一幅第一臉部圖像確定所述用戶的第一注視位置；在所確定的第一注視位置處顯示視覺刺激物；獲取至少一幅第二臉部圖像；以及基于所述至少一幅第二臉部圖像確定用戶意圖觸發(fā)與其預(yù)期注視位置相對應(yīng)的事件。還提供了用于確定用戶的觸發(fā)意圖的設(shè)備和存儲器設(shè)備。

技術(shù)領(lǐng)域

本申請涉及臉部識別領(lǐng)域，尤其涉及一種確定用戶的觸發(fā)意圖的方法、設(shè)備和存儲器設(shè)備。

背景技術(shù)

基于視線的交互，是指在GUI(Graphical User Interface，圖形用戶界面)前，通過眼睛注視來完成人機交互任務(wù)。交互過程一般都包含兩個階段，一是定位(localization)階段，即確定GUI上的交互目標(biāo)(比如某個按鈕、圖標(biāo)、或者超鏈接)；二是觸發(fā)(activation)階段，即在定位位置處執(zhí)行某種命令。為方便理解，這里以鼠標(biāo)為例來解釋這兩個階段。定位階段相當(dāng)于鼠標(biāo)的光標(biāo)移動到用戶想交互的目標(biāo)上，觸發(fā)相當(dāng)于鼠標(biāo)的某種點擊(左鍵或右鍵，單擊或雙擊)操作。

上述的兩階段劃分在定位階段完成位置估計的工作，在觸發(fā)階段在定位好的位置處觸發(fā)特定的命令。然而對于只基于視線的交互方式(即不和其他的交互方式相組合)，常常難以正確區(qū)分這兩個階段。例如，如果用眨眼來作為觸發(fā)信號，那么可能用戶無意識的眨眼行為可能被錯誤地識別成觸發(fā)信號。

因此，需要一種能夠正確識別用戶的觸發(fā)意圖的技術(shù)方案。

發(fā)明內(nèi)容

本公開實施例的一個方面提供了一種用于確定用戶的觸發(fā)意圖的方法。該方法包括：獲取用戶的至少一幅第一臉部圖像；基于所述至少一幅第一臉部圖像確定所述用戶的第一注視位置；在所確定的第一注視位置處顯示視覺刺激物；獲取至少一幅第二臉部圖像；以及基于所述至少一幅第二臉部圖像確定用戶意圖觸發(fā)與其預(yù)期注視位置相對應(yīng)的事件。

在一些示例中，該方法還可包括：基于所述至少一幅第二臉部圖像對所述第一注視位置進(jìn)行校正，以獲得所述用戶的預(yù)期注視位置。

在一些示例中，該方法還可包括：觸發(fā)與所述預(yù)期注視位置相對應(yīng)的事件。

在一些示例中，所述觸發(fā)可包括：基于對所述預(yù)期注視位置的確定，響應(yīng)于對所述用戶的觸發(fā)意圖的確定自動觸發(fā)與所述預(yù)期注視位置相對應(yīng)的事件。

在一些示例中，基于所述至少一幅第一臉部圖像確定所述用戶的第一注視位置可包括：基于所述至少一幅第一臉部圖像確定所述用戶的眼睛停止運動；以及根據(jù)所述用戶的眼睛停止運動之后所述至少一幅第一臉部圖像中的一幅或多幅第一臉部圖像，計算所述用戶的第一注視位置。

在一些示例中，基于所述至少一幅第二臉部圖像對所述第一注視位置進(jìn)行校正以獲得所述用戶的預(yù)期注視位置可包括：計算所述至少一幅第二臉部圖像與所述至少一幅第一臉部圖像之間的視線位置的偏差；以及使用所述偏差來校正所述第一注視位置。

在一些示例中，計算所述至少一幅第二臉部圖像與所述至少一幅第一臉部圖像之間的視線位置的偏差可包括：基于所述至少一幅第二臉部圖像確定所述用戶的第二注視位置；以及計算是第二注視位置與所述第一注視位置之間的偏差，作為所述至少一幅第二臉部圖像與所述至少一幅第一臉部圖像之間的視線位置的偏差。

在一些示例中，計算所述至少一幅第二臉部圖像與所述至少一幅第一臉部圖像之間的視線位置的偏差可包括：在所述至少一幅第一臉部圖像中選擇至少一個識別關(guān)鍵點；在所述至少一幅第二臉部圖像中選擇相同數(shù)量的對應(yīng)識別關(guān)鍵點；計算所述至少一個識別關(guān)鍵點與所述對應(yīng)識別關(guān)鍵點之間的對應(yīng)偏差量；基于所述對應(yīng)偏差量獲得針對所述至少一幅第二臉部圖像與所述至少一幅第一臉部圖像之間的視線位置的偏差的訓(xùn)練模型；以及根據(jù)所述訓(xùn)練模型估計所述至少一幅第二臉部圖像與所述至少一幅第一臉部圖像之間的視線位置的偏差。