[發明專利]基于注意力感知特征的全景圖像顯著性預測方法及系統

有效

• 申請號: 202010171611.8
• 申請日: 2020-03-12
• 公開（公告）號: CN111539420B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 楊小康;朱丹丹;閔雄闊;朱文瀚;朱煜程;翟廣濤
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/80;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀

本發明提供了一種基于注意力感知特征的全景圖像顯著性預測方法及系統，包括：預測全景圖像的前景注意力圖和背景注意力圖；計算預測的所述前景注意力圖、所述背景注意力圖中每一部分的逐像素的亮度值，得到可視化分數；提取全景圖像的全局特征，將所述全局特征與預測的所述前景注意力圖、所述背景注意力圖使用逐元素乘的方式進行融合，得到融合后的所述前景注意力圖、所述背景注意力圖；將融合后的所述前景注意力圖、所述背景注意力圖與所述可視化分數加權融合，獲得最終的預測結果。本發明在模擬人類視覺注意力機制方面具有較好的準確性。

技術領域

本發明涉及圖像顯著性預測技術領域，具體地，涉及一種基于注意力感知特征的全景圖像顯著性預測方法及系統，以及對應該方法的終端。

背景技術

傳統圖像的顯著性預測已是目前研究比較深入的課題，在過去幾十年中研究人員們提出了多種顯著性預測模型，這些顯著性預測模型可以分為兩類：基于傳統手動特征提取的顯著性預測模型和基于深度神經網絡的顯著性預測模型。其中，對于傳統手動特征提取的顯著性預測模型是受神經生物學機制啟發，利用自下而上的計算模式提取各種低層次特征進行顯著性預測，該類模型是由數據驅動的，一般顯著性預測準確率較低。比較具有代表性的是Itti等人提出的視覺顯著性模型，通過提取多尺度上的低層次特征并利用線性加權融合的方法得到最終的顯著圖。基于深度神經網絡的顯著性預測模型是采用目前主流的各種深度神經網絡模型提取高層次語義特征進行顯著性預測的，該類模型是受數據量的限制，需在大規模數據的條件下進行模型訓練的。與第一類顯著性預測模型相比，第二類模型往往得到的顯著性預測準確率較高，更符合人類視覺注意力機制。

然而，在使用基于深度神經網絡的顯著性預測模型對全景圖像進行預測時，存在兩個至關重要的問題：1)目前全景圖像的數據集都是小規模的，不能支持基于深度神經網絡的模型訓練；2)在進行顯著性預測時，由于全景圖像包含有混雜的背景將會影響顯著性預測的準確率。

對于全景圖像的數據集，目前最廣泛使用的是Rai等人在2017年《Proceedings ofthe 8th ACM on Multimedia Systems Conference》發表的“A Dataset of Head and EyeMovements for 360Degree Images”，該數據集共包含60幅全景圖像，對于每一幅圖像，平均有42個受試者參與觀看，每幅圖像觀看25秒，在兩幅圖像之間有5秒的灰屏間隔。對于使用基于深度神經網絡的模型進行訓練，該數據量是不充足的。

對于使用基于深度神經網絡進行顯著性預測的方法中，比較具有代表性的是Monroy等人在2018年《Signal Processing:Image Communication》上發表的“SalNet360:Saliency maps for omni-directional images with CNN”，它通過微調傳統2D圖像的顯著性預測模型解決全景圖像的顯著性預測問題；同時還有Pan等人在2018年《CVPR SceneUnderstanding Workshop》上發表的“Salgan:Visual saliency prediction withadversarial networks”，它通過引入對抗網絡的對抗訓練機制進行顯著性預測，在進行訓練時，應用設計的二元交叉熵和下采樣顯著圖執行顯著性預測。然而這兩種方法都是啟發式的，對于包含復雜背景的全景圖像，不能得到準確的顯著性預測結果。

發明內容

針對上述現有方法中存在的不足之處，本發明的目的是提供一種基于注意力感知特征的全景圖像顯著性預測方法、系統及終端。

根據本發明的第一方面，提供一種基于注意力感知特征的全景圖像顯著性預測方法，包括：

預測全景圖像的前景注意力圖和背景注意力圖；

計算預測的所述前景注意力圖、所述背景注意力圖中每一部分的逐像素的亮度值，得到可視化分數；