[發明專利]基于特征選擇和特征融合的圖像顯著性檢測方法

有效

• 申請號: 202010030505.8
• 申請日: 2020-01-13
• 公開（公告）號: CN111275076B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 袁夏;居思剛;趙春霞
• 申請（專利權）人: 南京理工大學
• 主分類號: G06V10/771
• 分類號: G06V10/771;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 馬魯晉

本發明公開了一種基于特征選擇和特征融合的圖像顯著性檢測方法，包括以下步驟：對輸入圖像進行特征提取，并將特征添加至特征金字塔集合中；對特征金字塔集合進行特征選擇，獲得新的特征金字塔集合；以自底向上的方式，對新的特征金字塔集合中的特征進行特征融合，獲得混合特征金字塔集合；利用混合特征金字塔集合中的特征對顯著性預測網絡模型進行訓練，利用訓練后的模型對待檢測圖像進行顯著性檢測。本發明采用注意力模型對圖像的特征進行特征選擇，增強了與圖像目標相關的特征，使得特征更加有效，并采用自底向上的特征融合結構，將底層的細節特征和高層的語義特征進行了有效融合，大大提升了特征的表征能力，比一般顯著性模型網絡的檢測準確率高。

技術領域

本發明屬于圖像顯著性檢測領域，特別涉及一種基于特征選擇和特征融合的圖像顯著性檢測方法。

背景技術

圖像顯著性就是圖像中引起注意的對象或者物體，在圖像或者視頻中顯著性檢測的結果往往是圖像或者視頻中的對象，在神經學科中顯著性檢測被描述為注意力機制，目的是聚焦或者縮小看到的對象場景的重要部分，顯著性檢測可以自動處理圖像中的對象表示。顯著性檢測可以提高對象檢測、圖像分割等算法的高效性。

目前最有效的顯著性檢測方法是基于全卷積神經網絡實現的。全卷積神經網絡將多個卷積層和池化層疊加起來，逐步增加感受野，生成高級語義信息，在顯著性檢測中起著至關重要的作用，然而池化層縮小了特征映射的大小，并惡化了突出對象的邊界。有些網絡用手工設計特征來保護突出物體的邊界，提取手工特征來計算超像素的顯著值，通過手工藝特征將圖像劃分為區域。在生成顯著性圖時，手工藝特征和卷積神經網絡高級特征是互補的，但這些方法都是分開提取特征，難以有效地融合單獨提取的互補特征。此外，手工工藝特征提取過程非常耗時。

除了手工工藝特征外，一些研究還發現網絡不同層的特征也是互補的，并集成了用于顯著性檢測的多尺度特征。更具體地，深層的特征通常包含全局上下文感知信息，其適合于正確地定位顯著區域。淺層的特征包含空間結構細節，適合于定位邊界。這些方法融合了不同的尺度特征但沒有考慮它們對顯著性的不同貢獻，這使得顯著性檢測結果不佳。為了克服這些問題，現有技術提出將關注模型和門函數引入顯著性檢測網絡，但是，該種方法忽略了高級和低級特征的不同特征，可能會影響有效特征的提取，進而降低顯著性檢測的精度。

發明內容

本發明的目的在于提供一種基于特征選擇和特征融合的圖像顯著性檢測方法，能較好的對圖像進行特征表征和顯著性預測。

實現本發明目的的技術解決方案為：一種基于特征選擇和特征融合的圖像顯著性檢測方法，所述方法包括以下步驟：

步驟1，對輸入圖像進行特征提取，并將所有特征添加至特征金字塔集合中；

步驟2，對所述特征金字塔集合進行特征選擇，獲得新的特征金字塔集合；

步驟3，以自底向上的方式，對所述新的特征金字塔集合中的特征進行特征融合，獲得混合特征金字塔集合；

步驟4，利用所述混合特征金字塔集合中的特征對顯著性預測網絡模型進行訓練，利用訓練后的顯著性預測網絡模型對待檢測圖像進行顯著性檢測。

進一步地，步驟1中所述對輸入圖像進行特征提取，具體采用卷積神經網絡ResNext對輸入圖像進行特征提取，具體過程包括：

假設卷積神經網絡ResNext包括的五部分卷積塊分別為conv₁、conv₂、conv₃、conv₄、conv₅；

步驟1-1，輸入圖像依次進入所述五部分卷積塊，進行前向迭代，迭代公式為：

f_i+1＝conv_j(f_i,W_j),j∈[1,5],i∈[-1,3]