[發明專利]一種基于頭部時序信號校正的眼動交互方法及裝置

有效

• 申請號: 202110587991.8
• 申請日: 2021-05-27
• 公開（公告）號: CN113419624B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 張敬;王小東;閆野;印二威;謝良;閆慧炯;羅治國;艾勇保;張亞坤
• 申請（專利權）人: 中國人民解放軍軍事科學院國防科技創新研究院
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/18;G06V40/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京豐浩知識產權代理事務所(普通合伙) 11781
• 代理人: 李學康

1.一種基于頭部時序信號校正的眼動交互方法，其特征在于，用于頭戴式近眼眼動交互設備，包括步驟：

S1：采集連續多幀雙眼圖像以及對應的頭部運動時序信息、實際屏幕注視點坐標為第一采集數據；采集大量不同人員在不同場景下的所述第一采集數據為第一采集數據組，對所述第一采集數據組中的數據進行預處理；

對所述第一采集數據進行預處理包括：

通過頭戴式設備的近眼攝像頭采集佩戴所述頭戴式設備的人員的所述連續多幀雙眼圖像數據，對所述連續多幀雙眼圖像數據進行預處理，獲取每一幀雙眼圖像標準化向量數據；所述預處理具體為將雙眼圖像預處理為128*128的圖像，對每一幀中所對應的雙眼圖像先后經過圖片壓縮以及均值與標準差分別為【0.485, 0.456, 0.406】，【0.229, 0.224,0.225】的標準化預處理，產生兩個大小為3*128*128的tensor向量為所述雙眼圖像標準化向量數據；

通過所述頭戴式設備中的陀螺儀采集所述人員的所述頭部運動時序信息數據，所述頭部運動時序信息為姿態角，空間運動速度，姿態角速度；對所述人員的所述頭部運動時序信息進行預處理，拼接為一個長度為9的一維向量為每一幀頭部運動一維向量數據；

所述實際屏幕注視點坐標為AR屏幕建立相對坐標系下的相對于屏幕左上角的相對坐標，取值范圍為[0,1]；

S2：使用所述第一采集數據組訓練深度卷積網絡注視點預測模型，獲得所述連續多幀雙眼圖像和所述頭部運動時序信息到預估注視點坐標的映射關系；

所述深度卷積網絡注視點預測模型包括：

選擇MobileNetV3網絡模型為第一卷積神經網絡，用于將所述每一幀雙眼圖像標準化向量數據輸入所述第一卷積神經網絡進行處理，獲取雙眼圖像高維特征，將所述雙眼圖像高維特征進行拼接，得到長為128的一維雙眼圖像特征向量；

選擇GRU網絡模型作為第二卷積神經網絡，用于將連續n幀所述一維雙眼圖像特征向量輸入所述第二卷積神經網絡進行處理，獲取n*128的二維雙眼圖像特征向量，n為自然數；

選取兩個全連接層與GRU網絡模型組成第三卷積神經網絡，用于將連續n幀所述頭部運動時序信息輸入所述第三卷積神經網絡進行處理，獲取n*128二維頭部運動特征向量；其中所述連續n幀頭部運動時序信息對應于所述連續n幀雙眼圖像標準化向量數據；

選取兩個全連接層與GRU網絡模型組成第四卷積神經網絡，用于將所述二維雙眼圖像特征向量與所述二維頭部運動特征向量輸入所述第四卷積神經網絡進行處理，獲取所述連續n幀中最后一幀所對應的預估注視點；

S3：將已有或實時采集的所述連續多幀雙眼圖像以及對應的頭部運動時序信息進行所述預處理后，輸入已完成訓練的所述深度卷積網絡注視點預測模型，獲取所述連續多幀中最后一幀雙眼圖像所對應的預估注視點。

2.根據權利要求1所述的基于頭部時序信號校正的眼動交互方法，其特征在于，使用所述第一采集數據組訓練深度卷積網絡注視點預測模型包括：

S21：將所述第一采集數據組分為訓練組和測試組；

S22：使用所述訓練組對所述深度卷積網絡注視點預測模型進行訓練，以對所述訓練組中所有數據進行一次訓練作為一輪，在每輪訓練完成后，以每輪訓練完成后的所述深度卷積網絡注視點預測模型對測試組數據進行測試，計算損失函數值，使用Adam優化算法更新并保存此輪訓練后的所述深度卷積網絡注視點預測模型參數；

S23：進行多輪訓練，選擇所述損失函數值最小的所述深度卷積網絡注視點預測模型的參數，確定最終所述深度卷積網絡注視點預測模型。

3.根據權利要求2所述的基于頭部時序信號校正的眼動交互方法，其特征在于，所述連續n幀中，n為7。