[發明專利]基于結構自適應和規模自適應感受野的顯著性檢測方法

有效

• 申請號: 202011223925.4
• 申請日: 2020-11-05
• 公開（公告）號: CN112329793B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 劉婧;蘇育挺;嚴昌飛
• 申請（專利權）人: 天津大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于結構自適應和規模自適應感受野的顯著性檢測方法，其特征在于，所述方法包括：

對DUTS數據庫中訓練集圖像進行水平鏡像處理，將鏡像處理后的圖像和標簽加入到訓練集；

構建由骨干網絡、特征提取網絡和聚合網絡構成網絡模型；

將訓練集的低比特圖像反量化后得到的零填充高比特圖像作為網絡模型的輸入，將各層次輸出結果和真實的標簽圖之間的二值交叉熵損失作為損失函數，通過Adam優化器梯度下降損失函數訓練網絡模型的各個參數；將訓練后的網絡模型用于顯著性檢測；

其中，

骨干網絡：使用VGG-16模型，將VGG-16模型的第2個卷積塊的第2層Conv2-2、第3個卷積塊的第2層Conv3-2、第4個卷積的第3層Conv4-3和第5個卷積塊的第3層Conv5-3和最后一個池化層作為五個層次特征輸入到特征提取網絡中；

特征提取網絡：Conv2-2輸出的特征僅用兩個3×3卷積提取，剩余層次特征先使用傳統卷積和變形卷積處理，再用空間文本模塊提取上下文信息，使用通道注意力模塊強化空間文本模塊處理后的特征；對AvgPool層空間文本模塊處理后的特征使用全局均值池化和線性插值獲得全局特征，將處理后的特征和全局特征進行拼接整合；

聚合網絡：對特征提取網絡輸出的特征進行聚合生成各層次顯著預測結果，不同層次特征使用反卷積或下采樣調整分辨率進行聚合，聚合后的特征使用邊緣改善模塊，使用線性插值將分辨率調整到標簽圖像的尺寸，使用深監督對每個層次預測圖及結合圖進行監督訓練，完成端到端的訓練；

所述上下文信息為：

其中，k代表卷積核尺寸，d代表卷積核擴張比率，i代表Conv3-2、Conv4-3、Conv5-3和AvgPool層，Conv3-2，設置X₁＝[X_1,1,X_3,1]；對于Conv4-3，設置X₂＝[X_1,1,X_3,1,X_3,2]；對于Conv5-3，設置X₃＝[X_1,1,X_3,1,X_3,2]；對于AvgPool，設置X₄＝[X_1,1,X_3,1,X_3,2,X_3,3]。

2.根據權利要求1所述的一種基于結構自適應和規模自適應感受野的顯著性檢測方法，其特征在于，所述使用通道注意力模塊強化空間文本模塊處理后的特征具體為：將變形特征圖輸入通道注意力模塊中生成通道權重，將通道權重與該層X_i點乘，強化顯著性相關的通道，權重W獲得公式為：

W＝Fc(reshape(pool(D)))

其中，D為當前層的通過變形卷積處理后的變形特征圖，pool(·)為均值池化操作，將D的調整到C×n×n尺寸，C為特征通道數目，reshape(·)將特征圖調整到Cn²×1×1，Fc(·)代表全連接層。

3.根據權利要求1所述的一種基于結構自適應和規模自適應感受野的顯著性檢測方法，其特征在于，所述方法還包括：將全局特征與AvgPool層的特征拼接，Conv2-2和Conv3-2的特征拼接。

4.根據權利要求1所述的一種基于結構自適應和規模自適應感受野的顯著性檢測方法，其特征在于，所述邊緣改善模塊由Relu函數和Conv組成，具體為：

P_out＝P_in+F(F(P_in))

其中，P_in代表輸入的原始預測結果，P_out代表經過模塊處理后的預測結果，F(·)函數是Relu函數加3×3卷積操作。