[發明專利]一種基于視頻圖像的眼動追蹤方法和系統

有效

• 申請號: 202010862466.8
• 申請日: 2020-08-25
• 公開（公告）號: CN112183200B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 袁征;蘇朝陽;鄒霖璐;鄭嘉波
• 申請（專利權）人: 中電海康集團有限公司
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發明公開了一種基于視頻圖像的眼動追蹤方法和系統，獲取人臉的視頻圖像，間隔提取視頻圖像中的一幀進行預處理；提取預處理后的圖像中的人臉區域、左眼區域和右眼區域；將提取的所述人臉區域、左眼區域和右眼區域輸入預訓練的卷積神經網絡，得到卷積神經網絡輸出的視線方向；基于預先標定的映射函數，將卷積神經網絡輸出的視線方向映射至屏幕，輸出人眼在屏幕上的視點坐標，完成眼動追蹤。本發明利用普通的圖像采集設備即可實現眼動追蹤，并且追蹤準確率高。

技術領域

本申請屬于人機交互視點追蹤技術領域，具體涉及一種基于視頻圖像的眼動追蹤方法和系統。

背景技術

眼動追蹤是一項通過傳感器、計算機、機器視覺等技術來追蹤人體眼睛運動的應用技術。該技術可用于醫學、心理學、認知科學等領域的研究，也可以用作手機、電腦、智能汽車等場景下的人機交互的新型輸入方法，簡單方便，應用前景廣泛。

常用的眼動追蹤設備有屏幕式和眼鏡式，前者是在電腦屏幕上方或下方放置一個長條狀的采集和計算設備，包括一個或多個紅外光源、紅外相機等，后者則是將一系列硬件集成在眼鏡上。這兩者雖然能夠較好地實現眼動追蹤功能，但是通常價格昂貴且不便攜帶。

常用的眼動追蹤設備通過瞳孔角膜反射技術計算使用者的視線方向，該方法精度較高也比較成熟，通過控制紅外光源切換亮瞳暗瞳，以差分的方式分割圖像獲得瞳孔，但該方法需要特定的光源和相機設備，難以像攝像頭一樣向大眾普及。而由于攝像頭獲取的圖像受環境影響較大，不同攝像頭型制參數區別較大，導致目前基于普通攝像頭獲取的外觀視頻圖像的眼動追蹤效果并不理想。

發明內容

本申請的目的在于提供一種基于視頻圖像的眼動追蹤方法和系統，利用普通的圖像采集設備即可實現眼動追蹤，并且追蹤準確率高。

為實現上述目的，本申請所采取的技術方案為：

一種基于視頻圖像的眼動追蹤方法，用于追蹤人眼在屏幕上的視點坐標，所述基于視頻圖像的眼動追蹤方法，包括：

步驟S1、獲取人臉的視頻圖像，間隔提取視頻圖像中的一幀進行預處理；

步驟S2、提取預處理后的圖像中的人臉區域、左眼區域和右眼區域；

步驟S3、將提取的所述人臉區域、左眼區域和右眼區域輸入預訓練的卷積神經網絡，得到卷積神經網絡輸出的視線方向；

步驟S4、基于預先標定的映射函數，將卷積神經網絡輸出的視線方向映射至屏幕，輸出人眼在屏幕上的視點坐標，完成眼動追蹤。

以下還提供了若干可選方式，但并不作為對上述總體方案的額外限定，僅僅是進一步的增補或優選，在沒有技術或邏輯矛盾的前提下，各可選方式可單獨針對上述總體方案進行組合，還可以是多個可選方式之間進行組合。

作為優選，所述步驟S2，提取預處理后的圖像中的人臉區域、左眼區域和右眼區域，包括：

采用基于haar特征的AdaBoost級聯檢測器檢測預處理后的圖像中是否存在人臉、左眼和右眼，若不存在則結束；否則裁剪出圖像中的人臉、左眼和右眼得到人臉區域、左眼區域和右眼區域，并對裁剪的人臉區域、左眼區域和右眼區域進行放大作為最終提取的人臉區域、左眼區域和右眼區域。

作為優選，步驟S3，將提取的所述人臉區域、左眼區域和右眼區域輸入預訓練的卷積神經網絡，得到卷積神經網絡輸出的視線方向，包括：