[發明專利]用于注視跟蹤模型的注視檢測偏移

有效

• 申請號: 201580072920.7
• 申請日: 2015-12-29
• 公開（公告）號: CN107111753B
• 公開（公告）日: 2020-09-22
• 發明（設計）人: X·苗;M·J·康拉德;D·吳
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/03;G06F3/01;H04N5/232;H04N5/33
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 段登新;胡利鳴

本文公開了涉及注視跟蹤的示例。一個示例提供了一種計算設備，該計算設備包括含有圖像傳感器的眼睛跟蹤系統、邏輯設備、以及包括指令的存儲設備，所述指令能夠被所述邏輯設備執行以通過經由所述眼睛跟蹤該系統獲得該眼睛的圖像并從該眼睛的圖像確定該眼睛的晶狀體的中心的所確定的位置來跟蹤眼睛注視方向。所述指令進一步能夠被執行以通過向晶狀體的中心的所確定的位置應用預定的亞像素偏移來在亞像素級別上調整晶狀體的中心的所確定的位置以產生晶狀體的中心的經調整的位置，從晶狀體的中心的經調整的位置來確定注視方向，以及基于該注視方向在該計算設備上執行動作。

技術領域

本申請涉及注視跟蹤，尤其涉及用于注視跟蹤模型的注視檢測偏移。

背景技術

注視跟蹤可在許多應用中找到用途，包括但不限于：人機交互、視覺注意力分析、以及用于殘疾人士的輔助技術。例如，人的注視方向可被跟蹤以確定該人的注視與計算系統的圖形用戶界面相交的位置。所確定的位置隨后可被用作用于與該圖形用戶界面交互的輸入信號。

發明內容

本文公開了涉及注視跟蹤的示例。一個示例提供了一種計算設備，該計算設備包括含有圖像傳感器的眼睛跟蹤系統、邏輯設備、以及包括指令的存儲設備，所述指令能夠被所述邏輯設備執行以通過經由所述眼睛跟蹤系統獲得該眼睛的圖像并從該眼睛的圖像確定該眼睛的晶狀體的中心的所確定的位置來跟蹤眼睛注視方向。所述指令進一步能夠被執行以通過向所述眼睛的晶狀體的中心的所確定的位置應用預定的亞像素偏移來調整所述眼睛的晶狀體的中心的所確定的位置，從晶狀體中心的經調整的位置來確定注視方向，以及基于該注視方向在該計算設備上執行動作。

提供本概述以便以簡化的形式介紹以下在詳細描述中進一步描述的一些概念。本概述并不旨在標識所要求保護主題的關鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。此外，所要求保護的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點的實現。

附圖說明

圖1示出示例注視跟蹤系統。

圖2示出示例注視跟蹤過程流水線的示意表示。

圖3示出示例注視模型的幾何表示。

圖4示出了用可見光相機和用紅外相機獲得的眼睛的示例圖像。

圖5A-C示出了面部地標檢測和頭部姿態估計的示例輸出。

圖6示出了表示虹膜檢測過程期間的各步驟處的示例數據集的圖像。

圖7示出了瞳孔中心的2D到3D幾何形狀的示例映射。

圖8示出了圖像傳感器上的所確定的眼睛晶狀體中心的示例映射的示意圖。

圖9示出了不向所確定的眼睛晶狀體中心應用亞像素調整所可能帶來的差錯的示例的示意圖。

圖10示出了向所確定的眼睛晶狀體中心應用亞像素偏移(sub-pixel offset)的示例方法。

圖11示出了用于確定用于眼睛晶狀體中心的亞像素偏移的示例方法。

圖12示出了示例計算系統的框圖。

具體實施方式

注視跟蹤系統可利用圖像傳感器來獲得人的眼睛的圖像數據。例如，一些注視跟蹤系統可利用人的眼睛的紅外圖像來定位對來自閃光光源(例如“朝該人的眼睛定向的紅外光源”)的光(“閃光”)的角膜反射以確定人的注視方向。其它方法可使用可見或紅外相機而無需這種閃光光源，如下面更詳細地描述的。