[發(fā)明專利]用于注視跟蹤模型的注視檢測偏移

有效

• 申請?zhí)枺?/td>: 201580072920.7
• 申請日: 2015-12-29
• 公開（公告）號: CN107111753B
• 公開（公告）日: 2020-09-22
• 發(fā)明（設計）人: X·苗;M·J·康拉德;D·吳
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/03;G06F3/01;H04N5/232;H04N5/33
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 段登新;胡利鳴

1.一種計算設備，包括：

包括圖像傳感器的眼睛跟蹤系統(tǒng)；

邏輯設備；以及

包括指令的存儲設備，所述指令能被所述邏輯設備執(zhí)行以通過以下來跟蹤眼睛注視方向：

經(jīng)由所述眼睛跟蹤系統(tǒng)獲得所述眼睛的圖像，

從所述眼睛的所述圖像獲得所述眼睛的晶狀體的中心的所確定的位置，所述位置是在像素級別上確定的，

通過向所述眼睛的所述晶狀體的中心的所確定的位置應用預定的亞像素偏移來在亞像素級別上調整所述眼睛的所述晶狀體的所述中心的所確定的位置以產(chǎn)生所述晶狀體的所述中心的經(jīng)調整的位置，其中所述預定的亞像素偏移是基于可經(jīng)機器訓練的模型來確定的，所述模型使用訓練數(shù)據(jù)集合來訓練，所述訓練數(shù)據(jù)集合包括多個眼睛圖像幀和相應基礎事實位置對，每個眼睛圖像幀包括當注視目標被顯示在顯示器上所述相應基礎事實位置處時捕捉人類眼睛的圖像數(shù)據(jù)；

根據(jù)所述晶狀體的所述中心的經(jīng)調整的位置來確定注視方向；以及

基于所述注視方向在計算設備上執(zhí)行動作。

2.如權利要求1所述的計算設備，其特征在于，所述圖像傳感器包括可見光相機，并且其中所述指令能被執(zhí)行以通過確定所述眼睛的虹膜的邊界以及基于所述虹膜的邊界來確定所述虹膜的中心來確定所述晶狀體的所述中心的所確定的位置。

3.如權利要求2所述的計算設備，其特征在于，所述指令進一步能被執(zhí)行以向所述虹膜的所確定的中心應用所述亞像素偏移。

4.如權利要求1所述的計算設備，其特征在于，所述圖像傳感器包括紅外相機，并且其中所述指令能被執(zhí)行以通過確定所述眼睛的瞳孔的邊界以及基于所述瞳孔的邊界來確定所述瞳孔的中心來確定所述眼睛的所述晶狀體的所述中心的所確定的位置。

5.如權利要求4所述的計算設備，其特征在于，所述指令進一步能被執(zhí)行以向所述瞳孔的所確定的中心應用所述亞像素偏移。

6.如權利要求1所述的計算設備，其特征在于，所述指令進一步能被執(zhí)行以接收關于注視方向和用戶界面上的預期交互位置之間的差錯的反饋，以及基于所述反饋調整所述預定亞像素偏移。

7.如權利要求6所述的計算設備，其特征在于，所述反饋包括指示不正確的注視確定的用戶輸入。

8.一種在計算設備上確定在計算機實現(xiàn)的注視跟蹤中使用的亞像素偏移以減少使用所述注視跟蹤的用戶界面交互的差錯率的方法，所述方法包括：

獲得訓練數(shù)據(jù)集合，所述訓練數(shù)據(jù)集合包括多個眼睛圖像幀和相應基礎事實位置對，每個眼睛圖像幀包括當注視目標被顯示在顯示器上所述相應基礎事實位置處時捕捉人類眼睛的圖像數(shù)據(jù)；

對于每個對，通過以下操作執(zhí)行差錯分析：

確定在所述眼睛圖像數(shù)據(jù)幀中捕捉的眼睛的晶狀體的中心，

經(jīng)由包括一個或多個加權因子的集合的模型來確定要應用到所述晶狀體的所確定的中心的亞像素偏移，其中所述模型是使用所述訓練數(shù)據(jù)集合來訓練的可經(jīng)機器訓練的模型，

向所述眼睛的所述晶狀體的所確定的中心應用所述亞像素偏移以確定經(jīng)調整的晶狀體中心，

使用所述經(jīng)調整的晶狀體中心確定注視方向，以及

基于針對所述對的基礎事實位置在應用所述亞像素偏移之后確定所述注視方向中的差錯；

調整所述一個或多個加權因子來產(chǎn)生經(jīng)調整的模型，以及針對經(jīng)調整的模型重復所述差錯分析；

確定產(chǎn)生所述注視方向中的最低的所確定的差錯的所述一個或多個加權因子的所選集合；

確定與所述一個或多個加權因子的所述所選集合相對應的所選亞像素偏移，以及

提供所選亞像素偏移以在注視跟蹤中使用。

9.如權利要求8所述的方法，其特征在于，所述模型是第一模型且一個或多個加權因子的所述集合是第一加權因子集合，所述方法進一步包括對具有第二加權因子集合的第二模型執(zhí)行所述差錯分析。