[發明專利]一種基于視覺顯著性的注視點估計方法及裝置

有效

• 申請號: 202010518731.0
• 申請日: 2020-06-09
• 公開（公告）號: CN111723707B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 馬權智;陶文源;閆野;印二威;劉璇恒;趙濤;謝良
• 申請（專利權）人: 天津大學
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06N3/0464;G06N3/044
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于視覺顯著性的注視點估計方法及裝置，所述方法包括以下步驟：將當前場景的RGB圖像和光流圖像輸入由卷積神經網絡和長短時記憶網絡構成的顯著圖生成模塊中，提取來自單個RGB圖像和連續的光流圖像中的特征信息，生成顯著圖；將當前人臉或人眼圖像輸入由卷積神經網絡構成的注視點預測模塊中，預測注視點；將顯著圖輸入校正模塊中，使用最小二乘算法對預測的注視點進行校正，輸出最終注視點。裝置包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序。本發明將視覺顯著性用于眼動跟蹤，使用顯著圖對預測的注視點進行校正，提高注視點估計的準確率。

技術領域

本發明涉及視覺顯著性領域，尤其涉及一種基于視覺顯著性的注視點估計方法及裝置。

背景技術

注視點估計即估算人雙目視線聚焦的落點。其一般場景是估計人在一個二維平面上的注視點。這個二維平面可以是手機屏幕，電腦屏幕，電視屏幕和VR設備中的虛擬屏幕等。常用的注視點估計方法可分為兩大類：基于幾何模型的和基于外觀的。基于幾何模型的方法也被稱為基于特征的方法，基本原理是從人眼圖像中提取一些特征(如：瞳孔、虹膜、眼角、角膜反射點等)，構造幾何模型計算注視點。基于外觀的方法不對人眼圖像進行處理，而是試圖通過大量人眼圖像訓練人眼外觀與注視點之間的映射關系。

視覺顯著性(Visual Attention Mechanism，VA，即視覺注意機制)是指面對一個場景時，人類自動地對感興趣區域進行處理而選擇性地忽略不感興趣區域，這些人們感興趣區域被稱之為顯著性區域。人類視覺系統在面對自然場景時具有快速搜索和定位感興趣目標的能力，這種視覺注意機制是人們日常生活中處理視覺信息的重要機制。

目前的注視點估計方法使用卷積神經網絡從人臉或人眼中估計注視點，該方法考慮到了人臉和人眼對注視點的影響，收集了大量人臉、人眼和對應屏幕上注視點坐標的數據，但沒有考慮觀看屏幕時屏幕上顯示的圖像信息。人類在觀察靜態場景(如圖片)時，更偏向于觀看圖像的顯著性區域，在觀察動態場景(如視頻)時，更偏向于觀看有變化的區域。

現有技術的方法僅從人臉或人眼圖像中估計對應的注視點，而忽視了場景因素在注視點估計中的重要性，在大多數情況下，人眼注視點與人眼當前狀態以及人眼所看到的場景都有著緊密的聯系，同時分析場景和人眼圖像而不是單純分析人眼圖像會更加接近真實的人眼注視點。

發明內容

本發明提供了一種基于視覺顯著性的注視點估計方法及裝置，本發明將視覺顯著性用于眼動跟蹤，使用顯著圖對預測的注視點進行校正，提高注視點估計的準確率，詳見下文描述：

一種基于視覺顯著性的注視點估計方法，所述方法包括以下步驟：

將當前場景的RGB圖像和光流圖像輸入由卷積神經網絡和長短時記憶網絡構成的顯著圖生成模塊中，提取來自單個RGB圖像和連續的光流圖像中的特征信息，生成顯著圖；

將當前人臉或人眼圖像輸入由卷積神經網絡構成的注視點預測模塊中，預測注視點；

將顯著圖輸入校正模塊中，使用最小二乘算法對預測的注視點進行校正，輸出最終注視點。

其中，所述RGB圖像和光流圖像被輸入到由五個卷積層構成的特征提取卷積神經網絡中，對輸入的圖像進行編碼；

之后分別輸入到反卷積神經網絡和長短時記憶網絡中，得到兩個特征圖，繼續將這兩個特征圖進行融合，經過一個由三個卷積層構成的全卷積網絡，得到最終的顯著圖。

進一步地，

當前人臉或人眼圖像輸入注視點預測模塊中，分別經過卷積神經網絡進行特征提取，之后將特征圖進行連接，通過全連接網絡最終得到注視點坐標。

其中，所述方法還包括：光流圖像的生成方法，包括：基于梯度或微分的方法、基于匹配的方法、基于能量或頻率的方法、基于相位的方法和神經動力學方法。