[發明專利]一種基于視覺顯著性的注視點估計方法及裝置

有效

• 申請號: 202010518731.0
• 申請日: 2020-06-09
• 公開（公告）號: CN111723707B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 馬權智;陶文源;閆野;印二威;劉璇恒;趙濤;謝良
• 申請（專利權）人: 天津大學
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06N3/0464;G06N3/044
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于視覺顯著性的注視點估計方法，其特征在于，所述方法包括以下步驟：

將當前場景的RGB圖像和光流圖像輸入由卷積神經網絡和長短時記憶網絡構成的顯著圖生成模塊中，提取來自單個RGB圖像和連續的光流圖像中的特征信息，生成顯著圖；

將當前人臉或人眼圖像輸入由卷積神經網絡構成的注視點預測模塊中，預測注視點；

將顯著圖輸入校正模塊中，使用最小二乘算法對預測的注視點進行校正，輸出最終注視點。

2.根據權利要求1所述的一種基于視覺顯著性的注視點估計方法，其特征在于，

所述RGB圖像和光流圖像被輸入到由五個卷積層構成的特征提取卷積神經網絡中，對輸入的圖像進行編碼；

之后分別輸入到反卷積神經網絡和長短時記憶網絡中，得到兩個特征圖，繼續將這兩個特征圖進行融合，經過一個由三個卷積層構成的全卷積網絡，得到最終的顯著圖。

3.根據權利要求1所述的一種基于視覺顯著性的注視點估計方法，其特征在于，

當前人臉或人眼圖像輸入注視點預測模塊中，分別經過卷積神經網絡進行特征提取，之后將特征圖進行連接，通過全連接網絡最終得到注視點坐標。

4.根據權利要求1所述的一種基于視覺顯著性的注視點估計方法，其特征在于，所述方法還包括：光流圖像的生成方法，

包括：基于梯度或微分的方法、基于匹配的方法、基于能量或頻率的方法、基于相位的方法和神經動力學方法。

5.根據權利要求1所述的一種基于視覺顯著性的注視點估計方法，其特征在于，

所述校正模塊的輸入是顯著圖生成模塊的輸出和注視點預測模塊的輸出，首先在顯著圖中繪制一個以預測注視點為圓心，半徑為1度的圓，然后求得顯著圖中顯著區域中心坐標，對連續多個預測注視點和顯著區域中心坐標使用最小二乘法求解校正之后的注視點坐標。

6.一種基于視覺顯著性的注視點估計裝置，裝置包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現權利要求1所述的方法步驟。