[發明專利]一種融合深度網絡和幾何模型的增強現實眼動交互方法

在審

• 申請號: 201911360074.5
• 申請日: 2019-12-25
• 公開（公告）號: CN111176447A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 閆野;馬權智;姜志杰;付麟惠;鄧寶松;謝良;印二威
• 申請（專利權）人: 中國人民解放軍軍事科學院國防科技創新研究院;天津（濱海）人工智能軍民融合創新中心
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06N3/04
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

本發明提出了一種融合深度網絡和幾何模型的增強現實眼動交互方法，包括：采集大量人員雙眼圖像和注視點，對采集到的眼睛圖像進行預處理；使用大數據訓練深度卷積神經網絡模型，獲得從眼睛圖像到注視點的映射關系；使用深度卷積神經網絡模型預測的注視點結果作為幾何模型的部分輸入，結合當前人員少量真實數據求解幾何模型參數，得到當前人員準確的映射關系。本發明相比于傳統的基于幾何模型的眼動跟蹤方法簡化了標定過程，增加了交互的魯棒性；相比于傳統的基于外觀的方法提高了注視估計精度，更具普適性。

技術領域

本發明涉及人機交互、增強現實、計算機視覺領域，尤其涉及到一種融合深度網絡和幾何模型的增強現實眼動交互方法。

背景技術

眼動交互是人類最自然的交互方式之一，準確的注視估計一直是重要的研究課題。尤其是在增強現實領域，傳統的人機交互方式，如鍵盤、鼠標、觸摸屏等顯然無法滿足需求，眼動交互正在成為主流的交互方式之一。注視估計方法課分為兩類：基于幾何的方法和基于外觀的方法。基于幾何的方法是使用某些眼睛特征來構建幾何眼睛模型，來估計注視方向。最典型的方法是瞳孔中心角膜反射法(PCCR)，其基本思想是使用光源照亮眼睛產生明顯的反射，并通過識別光源在角膜上的反射和圖像中的瞳孔中心來計算注視方向。另一種常用的方法是通過眼睛形狀來推斷注視方向，如瞳孔中心和虹膜邊緣。基于外觀的方法通常需要相機捕獲用戶的眼睛圖像，然后從大量眼睛圖像中學習凝視方向的映射函數。到目前為止，研究者們已經探索了各種映射函數，如神經網絡，局部線性插值，自適應線性回歸，高斯過程回歸和降維等。

目前注視估計主要面臨以下問題：在基于幾何的方法中，為了確定幾何模型的參數，需要復雜的標定校準過程，并且標定之后用戶與相機的相對位置不能有太大變化，否則需要重新標定；在基于外觀的方法中，需要大量的訓練樣本來訓練從眼睛圖像到注視方向的映射函數，由于受到樣本采集和標記的成本限制，從訓練樣本中往往不足以學習到精確的映射函數。

為了解決以上問題，本文提出了一種融合深度網絡和幾何模型的增強現實眼動交互方法，通過深度網絡和幾何模型的結合，無需復雜的標定即可達到魯棒、精準的眼動交互。

發明內容

本發明提出一種融合深度網絡和幾何模型的增強現實眼動交互方法，包括如下步驟：

采集多人雙眼圖像和注視點，對采集到的眼睛圖像進行預處理；

使用大數據訓練深度卷積神經網絡模型，獲得從所述眼睛圖像到所述注視點的映射關系；

使用所述深度卷積神經網絡模型預測的注視點結果作為幾何模型的輸入，結合當前人員少量真實數據求解幾何模型參數，得到準確的映射關系。

其中，使用相機采集雙眼圖像，同時采集時結合補光技術。

其中，所述雙眼圖像和注視點來自多個不同人員。

其中，所述使用大數據訓練深度卷積神經網絡模型，獲得從眼睛圖像到注視點的映射關系，包括：

收集多人多張雙眼圖像以及對應的注視點；

構建基于深度卷積神經網絡的映射模型；

將收集到的雙眼圖像作為網絡輸入，對應的注視點為目標，通過梯度下降法最小化損失函數，訓練出合適的映射模型。

其中，所述深度卷積神經網絡模型為雙輸入模型。

其中，所述將收集到的雙眼圖像作為網絡輸入，對應的注視點為目標，通過梯度下降法最小化損失函數，訓練出合適的映射模型具體包括：

對左右眼圖像分別進行多層卷積提取特征；

將所述特征使用全連接層進行融合；

使用多個全連接層來估計注視點；