[發明專利]基于多層次上下文信息融合的顯著性物體檢測方法

有效

• 申請號: 201811547592.3
• 申請日: 2018-12-18
• 公開（公告）號: CN109766918B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 程明明;劉云
• 申請（專利權）人: 南開大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/32;G06N3/04;G06N3/08
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 侯力

一種基于多層次上下文信息融合的顯著性物體檢測的方法。該方法的目的是構造并利用多層級的上下文特征進行圖像顯著性檢測。該方法設計了一種新的卷積神經網絡架構，這種新的卷積神經網絡架構以由高層卷積至底層卷積的方式進行優化，從而為圖像提取不同尺度上的上下文信息，將這些上下文信息進行融合可以獲得高質量的圖像顯著性圖。使用該方法檢測出的顯著性區域，可以用來輔助其他視覺任務。

技術領域

本發明屬于圖像處理技術領域，特別涉及到一種基于多層次上下文特征融合的顯著性物體檢測的方法。

背景技術

顯著性物體檢測，也被稱為顯著性檢測，致力于模擬人類視覺系統來檢測一張圖像中顯著的物體或者區域。顯著性物體檢測技術在計算機視覺中有著廣泛的用途，比如圖像檢索、視覺跟蹤、場景分類、基于內容的視頻壓縮和弱監督學習。雖然很多重要的顯著性模型已經被提出了，但是顯著性檢測的精度仍然差強人意，尤其是在很多復雜的場景下。

傳統的顯著性檢測方法通常手工設計很多底層的特征和先驗知識，但是這些特征和先驗知識是很難描述語義的物體和場景的。顯著性物體最近的進步主要來自于卷積神經網絡。卷積神經網絡的主干網絡通常由幾個堆疊在一起的卷積/池化模塊組成，其中靠近輸入的模塊被稱作底層，而離輸入較遠的模塊被稱作高層。在深度學習社區中，人們普遍認為神經網絡的高層包含語義相關的信息，而神經網絡的底層包含輔助的細節信息。因此，如今領先的顯著性物體檢測方法都設計了各種復雜的網絡架構來融合神經網絡底層和高層的特征以進行精確的顯著性檢測。比如，在2017年CVPR上發表的論文“Deeply supervisedsalient object detection with short connections”中，作者通過實驗小心地選擇了幾組由不同的高層和底層卷積模塊組成的集合，每個集合將選定的若干個卷積模塊的預測結果相融合得到一個預測，最后再將所有集合上的結果相融合得到最終的顯著性檢測結果。在2018年CVPR上發表的論文“Detect globally,refine locally:A novel approach tosaliency detection”中，作者提出了一種遞歸的模型來過濾掉不同卷積模塊中的噪聲然后再將它們融合。最近兩年提出的網絡高層和底層相融合的方法已經變得越來越復雜。由于文獻太多，在此就不再一一贅述。那么，為了提高顯著性物體檢測的精度，我們是不是必須要設計越來越復雜的高底層特征融合的模型呢？

為了回答上述的問題，我們注意到，最近有一些深度學習的論文針對其他的圖像任務提出了一些學習圖像的全局上下文信息的神經網絡模型。在2017年的CVPR上發表的論文“Pyramid scene parsing network”中，作者在神經網絡的末尾添加了一些不同尺度的池化層來提取圖像的上下文信息。在2018年的CVPR上發表的“Context encoding forsemantic segmentation”一文中，作者用另一篇論文“Deep TEN:Texture encodingnetwork”(2017年CVPR論文)中的編碼方法構造了一個上下文信息提取模塊。這兩篇論文在語義分割這項任務上取得了較好的結果。由于顯著性物體檢測更加注重細節信息，上述的技術并不能直接用于顯著性檢測。

發明內容

本發明目的是解決現有技術中存在的不能充分利用圖像中蘊含的上下文信息的技術問題，提供一種基于多層次上下文信息融合的顯著性物體檢測方法。該方法通過輸入一張任意大小的圖像，系統就可以高效的檢測出圖像中顯著性物體。

為了實現本發明的目的，我們提出了一種新的卷積神經網絡模型，所述模型以一種從頂層到底層的方式學習，頂層可以指導底層的訓練，自動生成多層次的上下文信息，既包括粗糙的全局信息，也包括精細的局部信息，從而能夠進行準確的顯著性物體檢測。