[發明專利]基于結構自適應和規模自適應感受野的顯著性檢測方法

有效

• 申請號: 202011223925.4
• 申請日: 2020-11-05
• 公開（公告）號: CN112329793B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 劉婧;蘇育挺;嚴昌飛
• 申請（專利權）人: 天津大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于結構自適應和規模自適應感受野的顯著性檢測方法，所述方法包括：對DUTS數據庫中訓練集圖像進行水平鏡像處理，將鏡像處理后的圖像和標簽加入到訓練集；構建由骨干網絡、特征提取網絡和聚合網絡構成網絡模型；將訓練集的低比特圖像反量化后得到的零填充高比特圖像作為網絡模型的輸入，將各層次輸出結果和真實的標簽圖之間的二值交叉熵損失作為損失函數，通過Adam優化器梯度下降損失函數訓練網絡模型的各個參數；將訓練后的網絡模型用于顯著性檢測。

技術領域

本發明涉及深度神經網絡領域，尤其涉及一種基于結構自適應和規模自適應感受野的顯著性檢測方法。

背景技術

顯著性對象檢測旨在突出顯示圖像或視頻中在語義上引人注意或引起關注的區域或對象。它可以作為其他計算機視覺任務的預處理步驟。當前，它已經被廣泛用于對象跟蹤、圖像分割、對象檢測和人員身份識別中。

根據感知理論，目標是否是顯著物體由不同級別語義共同決定的，包括：高級語義信息、中級紋理結構信息、低級細節信息。傳統的顯著性檢測方法通常采用人工設計的特征，這些特征由低級視覺特征(例如：顏色、像素在圖像中的位置和邊緣紋理)和中級紋理結構特征(例如：物體間的位置)組成。但是，傳統方法難以提煉抽象的高級語義信息，同時特征設計基于先驗假設，但是先驗假設不可能對所有場景都適用。因此，傳統方法處理具有復雜場景的能力是無法滿足人類需求的。

最近，借助深度神經網絡，可以很方便地獲得高質量的深度語義特征，因此能夠更有效地處理顯著性檢測任務。早期的神經網絡融合了一些傳統的顯著性檢測方法，包括：前景和背景先驗以及圖像超像素化，同時顯著性預測結果僅使用最高層次特征上采樣的結果。根據現有的方法，傳統顯著性檢測方法生成的低級特征可以被神經網絡淺層特征取代，因此，許多現有的方法決定從全卷積網絡的不同層中提取多級別卷積特征，并將低級細節與高語義信息結合起來，生成多層次語義上下文來更好地定位顯著對象。通常語義層次聚合使用跳躍連接或密集連接來整合不同級別的語義特征。但是，不同場景下顯著物體具有不同的結構和尺寸，現有方法采用固定比例和規則采樣的卷積實際上忽視了物體的結構信息，同時不同層次的語義信息對于感受野的要求也是不同的，低層次信息需要小感受野關注細節而高層次信息需要引入大感受野補充語義信息，而現有方法都是采用同樣的感受野處理每一層次，從而劣化了顯著性對象檢測的性能效果。

發明內容

本發明提供了一種基于結構自適應和規模自適應感受野的顯著性檢測方法，本發明通過對骨干網絡獲得的各層次語義特征使用變形卷積調整特征位置，幫助卷積能夠基于對象結構采樣特征，根據不同層次設計對應的空間文本模塊采樣空間信息，使用通道注意力機制強化顯著性相關的通道，從而獲得高質量的高級語義線索和低級細節信息，將各個層次的語義特征通過密集連接聚合各層次信息；另外，本發明使用邊緣改善模塊對預測圖像進行邊緣修補以及引入深監督方法監督網絡各個層次的訓練，詳見下文描述：

一種基于結構自適應和規模自適應感受野的顯著性檢測方法，所述方法包括：

對DUTS數據庫中訓練集圖像進行水平鏡像處理，將鏡像處理后的圖像和標簽加入到訓練集；

構建由骨干網絡、特征提取網絡和聚合網絡構成網絡模型；

將訓練集的低比特圖像反量化后得到的零填充高比特圖像作為網絡模型的輸入，將各層次輸出結果和真實的標簽圖之間的二值交叉熵損失作為損失函數，通過Adam優化器梯度下降損失函數訓練網絡模型的各個參數；將訓練后的網絡模型用于顯著性檢測。

其中，

骨干網絡：使用VGG-16模型，將VGG-16模型的第2個卷積塊的第2層Conv2-2、第3個卷積塊的第2層Conv3-2、第4個卷積的第3層Conv4-3和第5個卷積塊的第3層Conv5-3和最后一個池化層作為五個層次特征輸入到特征提取網絡中；