[發明專利]一種基于頭部時序信號校正的眼動交互方法及裝置

有效

• 申請號: 202110587991.8
• 申請日: 2021-05-27
• 公開（公告）號: CN113419624B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 張敬;王小東;閆野;印二威;謝良;閆慧炯;羅治國;艾勇保;張亞坤
• 申請（專利權）人: 中國人民解放軍軍事科學院國防科技創新研究院
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/18;G06V40/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京豐浩知識產權代理事務所(普通合伙) 11781
• 代理人: 李學康

本發明公開了一種基于頭部時序信號校正的眼動交互方法與裝置，屬于計算機視覺技術領域。所述方法包括：采集大量連續多幀雙眼圖像以及對應的頭部運動時序信息、實際屏幕注視點坐標，并對采集到的數據進行預處理；使用所采集的大量數據訓練深度卷積網絡注視點預測模型，獲得連續多幀雙眼圖像和頭部運動時序信息到預估注視點坐標的映射關系；將已有或實時采集數據輸入已完成訓練的深度卷積網絡注視點預測模型，獲取預估注視點。本發明融合頭部時序信號與眼部圖像時序信號，使用深度學習強大的特征處理能力，能準確快速估計人眼注視點；通過預先訓練深度卷積網絡注視點預測模型，新用戶使用時無需校正，直接佩戴頭戴式眼動儀即可進行實時眼動交互。

技術領域

本發明涉及計算機視覺技術領域，特別是涉及一種基于頭部時序信號校正的眼動交互方法及裝置。

背景技術

眼動交互技術是通過眼部電信號，光信號，圖片信號等多種方式對人的眼部注視方向狀態進行跟蹤，然后以此進行人機交互的方法，在未來的人機交互中具有巨大的應用潛力。可輸入、輸出的外部設備和相應的軟件即鍵盤、鼠標、各種模式識別設備可以完成傳統的人機交互，但傳統的人機交互多為手動操作，有時會配合語音操作，其存在著一定的制約因素，比如對于上肢不方便的殘疾人或者軍事對戰中的飛行員來說，傳統的人機交互使用起來就十分不便。當在人機交互的過程中應用眼動技術時，就是將眼睛的運動情況作為一個輸入設備。當用戶眼部移動時，通過估算人眼視線在頭戴式屏幕中的落點，實現人與計算機進行交互。作為一種更自然、更直接的輸入方式，可以極大地提升人機交互的便捷度。

目前眼動交互方法主要是使用眼部視頻的光學記錄法，通過眼部相機獲取雙眼圖像，然后使用眼部圖像信息獲取眼睛的注視方向或者屏幕注視點，其中分為基于幾何模型的傳統方法以及基于外觀的深度學習方法。但是這些方法使用單純的眼部圖像信息，而圖像信息對環境亮度、人眼開闔程度要求比較高，使得這些方法普遍出現在復雜環境中魯棒性較差的問題。

在自然環境中，人在注視方向發生改變時會不自覺的發生相應的頭部運動，并已有科學研究證明眼部注視方向與頭部運動具有強相關性，但發明人在實現本發明的過程中，注意到目前的眼動交互技術領域并沒有結合頭部運動時序信息。同時，人眼運動生理學認為人眼眼動分為追蹤，掃視及凝視等方式，有一定運動規律可循，這些眼動時序信息在眼動交互領域也并未得到充分的利用。

發明內容

有鑒于此，本發明提供的一種基于頭部時序信號校正的眼動交互方法及裝置，主要目的在于通過整合人眼圖像、眼動時序信息與頭部運動時序信息，解決傳統眼動交互方法對環境亮度、人眼開闔程度較為敏感，在復雜環境中魯棒性較差，精確度不高的問題。

根據本發明一個方面，提供了一種基于頭部時序信號校正的眼動交互方法，該方法包括步驟：S1：采集連續多幀雙眼圖像以及對應的頭部運動時序信息、實際屏幕注視點坐標為第一采集數據；采集大量不同人員在不同場景下的所述第一采集數據為第一采集數據組，對所述第一采集數據組中的數據進行預處理；S2：使用所述第一采集數據組訓練深度卷積網絡注視點預測模型，獲得所述連續多幀雙眼圖像和所述頭部運動時序信息到預估注視點坐標的映射關系：S3：將已有或實時采集的所述連續多幀雙眼圖像以及對應的頭部運動時序信息進行所述預處理后，輸入已完成訓練的所述深度卷積網絡注視點預測模型，獲取所述連續多幀中最后一幀雙眼圖像所對應的預估注視點。

作為本發明的進一步改進，對所述第一采集數據進行預處理包括：通過頭戴式設備的近眼攝像頭采集佩戴所述頭戴式設備的人員的所述連續多幀雙眼圖像數據，對所述連續多幀雙眼圖像數據進行預處理，獲取每一幀雙眼圖像標準化向量數據；通過所述頭戴式設備中的陀螺儀采集所述人員的所述頭部運動時序信息數據，對所述人員的所述頭部運動時序信息進行預處理，獲取每一幀頭部運動一維向量數據；所述實際屏幕注視點坐標為AR屏幕建立相對坐標系下的相對于屏幕左上角的相對坐標，取值范圍為[0，1]。