[發明專利]一種非標定眼動交互方法和裝置

在審

• 申請號: 202110587945.8
• 申請日: 2021-05-27
• 公開（公告）號: CN113419623A
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 閆野;王小東;謝良;張敬;印二威;閆慧炯;張亞坤;艾勇保;羅治國
• 申請（專利權）人: 中國人民解放軍軍事科學院國防科技創新研究院
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京豐浩知識產權代理事務所(普通合伙) 11781
• 代理人: 李學康

1.一種非標定眼動交互方法，其特征在于，包括步驟：

S1：采集雙眼圖像、場景圖像和頭部運動信息為第一采集數據；采集大量不同人員在不同場景下的所述第一采集數據為第一采集數據組，對所述第一采集數據組中的數據進行預處理；

S2：使用所述第一采集數據組訓練深度卷積網絡注視點預測模型，獲得所述雙眼圖像、場景圖像和頭部運動信息到預估注視點坐標的映射關系；

S3：將已有或實時采集的所述第一采集數據進行預處理后，輸入已完成訓練的所述深度卷積網絡注視點預測模型，獲取預估注視點。

2.根據權利要求1所述的非標定眼動交互方法，其特征在于，對所述第一采集數據進行預處理包括：

通過頭戴式設備的近眼攝像頭采集佩戴所述頭戴式設備的人員的雙眼圖像數據，對所述雙眼圖像數據進行預處理，獲取雙眼圖像標準化向量數據；通過所述頭戴式設備采集場景圖像數據，對所述場景圖像數據進行預處理，獲取場景圖像標準化向量數據；通過所述頭戴式設備中的陀螺儀采集所述人員的頭部運動信息數據，對所述人員的頭部運動信息進行預處理，獲取頭部運動一維向量數據。

3.根據權利要求2所述的非標定眼動交互方法，所述深度卷積網絡注視點預測模型包括：

選擇任意一種在國際公開的顯著性檢測數據集上已訓練完成的卷積神經網絡為第一卷積神經網絡，用于將所述場景圖像標準化向量數據輸入所述第一卷積神經網絡進行處理，獲取顯著圖數據；對所述顯著圖數據進行全連接層處理產生顯著圖高維特征；

選擇任意一種開源基礎卷積神經網絡作為第二卷積神經網絡，用于將所述雙眼圖像標準化向量數據輸入所述第二卷積神經網絡進行處理，獲取雙眼圖像高維特征；

將所述顯著圖高維特征、所述雙眼圖像高維特征以及所述頭部運動一維向量數據融合后，進行三層全連接層處理，獲取預估注視點坐標。

4.根據權利要求3所述的非標定眼動交互方法，其特征在于，使用所述第一采集數據組訓練深度卷積網絡注視點預測模型包括：

S21：將所述第一采集數據組分為訓練組和測試組；

S22：使用所述訓練組對所述深度卷積網絡注視點預測模型進行訓練，以對所述訓練組中所有數據進行一次訓練作為一輪，在每輪訓練完成后，以每輪訓練完成后的所述深度卷積網絡注視點預測模型對測試組數據進行測試，計算損失函數值，使用Adam優化算法更新并保存此輪訓練后的所述深度卷積網絡注視點預測模型參數；

S23：進行多輪訓練，選擇所述損失函數值最小的所述深度卷積網絡注視點預測模型的參數，確定最終所述深度卷積網絡注視點預測模型。

5.根據權利要求3或4所述的非標定眼動交互方法，其特征在于，所述第一卷積神經網絡為U^2Net。

6.根據權利要求3或4所述的非標定眼動交互方法，其特征在于，所述第二卷積神經網絡為MobileNetV3。

7.一種非標定眼動交互裝置，其特征在于，包括：

數據采集與預處理模塊：采集雙眼圖像、場景圖像和頭部運動信息為第一采集數據；采集大量不同人員在不同場景下的所述第一采集數據為第一采集數據組，對所述第一采集數據組中的數據進行預處理；

深度卷積網絡注視點預測模型：使用所述第一采集數據組訓練所述深度卷積網絡注視點預測模型，獲得所述雙眼圖像、場景圖像和頭部運動信息到預估注視點坐標的映射關系；將已有或實時采集的所述第一采集數據進行預處理后，輸入訓練好的所述深度卷積網絡注視點預測模型，獲取預估注視點。

8.根據權利要求7所述的非標定眼動交互裝置，其特征在于，對所述第一采集數據進行預處理包括：

通過頭戴式設備的近眼攝像頭采集佩戴所述頭戴式設備的人員的雙眼圖像數據，對所述雙眼圖像數據進行預處理，獲取雙眼圖像標準化向量數據；通過所述頭戴式設備采集場景圖像數據，對所述場景圖像數據進行預處理，獲取場景圖像標準化向量數據；通過所述頭戴式設備中的陀螺儀采集所述人員的頭部運動信息數據，對所述人員的頭部運動信息進行預處理，獲取頭部運動一維向量數據。