[發明專利]一種基于動態濾波解耦卷積網絡的RGB-D顯著性檢測方法

在審

• 申請號: 202110653578.7
• 申請日: 2021-06-11
• 公開（公告）號: CN113379707A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 張淼;樸永日;姚舜禹
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/33;G06T7/50;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 陳麗;李洪福

本發明公開了一種基于動態濾波解耦卷積網絡的RGB?D顯著性檢測的方法，包括：獲取RGB圖像張量和深度圖像張量；分別將RGB圖像張量和深度圖像張量輸入編碼器網絡提取單模態特征組，根據編碼器網絡特性以及層級劃分，生成RGB特征組與深度特征組；將RGB特征組的特征與深度特征組的特征分別放到各自的模態特定的整體引導動態增強模塊(MGDEM)，進行單模態特定的特征增強；將增強后的RGB特征和深度特征輸入場景感知跨模態動態融合模塊(SCDFM)，進行模態間的特征融合；MGDEM和SCDFM均基于解耦的動態濾波卷積結構；將融合后的特征輸入解碼器，得到預測的顯著性結果。本發明實現了準確的顯著性預測。

技術領域

本發明涉及到計算機視覺技術領域，尤其涉及一種基于動態濾波解耦卷積網絡的RGB-D顯著性檢測方法。

背景技術

顯著性檢測的目標是在一幅圖像里，尋找出最吸引人類視覺注意的物體或區域。這個任務在不同視覺任務中扮演預處理角色，讓計算機先檢測出人類所感興趣的區域，然后對檢測出的區域進行后續方法的處理。比如，在進行目標識別時，不需要對整張圖像進行滑動窗遍歷，而是先進行顯著性檢測，然后只對顯著性區域的目標進行識別。準確可靠的顯著性檢測可以節省計算量的同時，提高精確度，使許多視覺圖形學中的圖像跟蹤和識別處理任務受益。

目前許多方法基于RGB彩色圖像進行顯著性檢測，并取得了出色的性能。但是由于RGB彩色圖像缺乏較為精確的空間信息，這些方法可能在某些復雜的場景中效果不佳，例如，一張圖像有非常相似的前景和背景，此時對比度很低，只依靠RGB信息很難檢測出顯著性區域或者物體，還有在多物體以及復雜背景的場景中也會效果變差。

為此，引入了包含空間分布信息的深度(Depth)圖像。已經有一些方法嘗試利用RGB彩色圖像和相對應的深度圖像進行顯著性檢測。但是由于RGB和深度是獨立產生的，并且信息是互補的，因此鼓勵每個模態內部的交互以及兩個模態之間的交互非常重要。

盡管RGB-D顯著性檢測方法取得了成功，但仍有兩個主要問題有待解決：

(1)由于RGB數據包含更多的外觀信息，例如顏色、紋理、輪廓以及有限的位置，而深度數據在3D布局中提供了優勢的辨別能力，RGB和深度之間的固有差異對不同模式下的特定模式特征增強提出了挑戰。

(2)由于RGB和深度數據在視覺系統中是糾纏在一起的，因此兩種模式的充分融合是RGB-D的基石。然而，RGB和深度數據都會對RGB-D顯著性檢測造成干擾，因為圖像和深度圖的質量很容易受到各種因素的影響，例如相機的溫度、照明、距離和物體的反射率。此外，大多數RGB-D顯著性目標檢測方法都采用層次融合策略。然而，重復使用融合模塊不可避免地會產生額外的計算和存儲消耗。這進一步擴展了跨模態特征融合的挑戰。

發明內容

有鑒于此，本發明提出了一種基于動態濾波解耦卷積網絡的RGB-D顯著性目標檢測方法，該方法依據深度學習方法，基于差分特征處理融合，采用自頂向下與自適應方式進行RGB-D圖像的顯著性檢測，實現了復雜場景下高質量的顯著性檢測結果。

為此，本發明提供了如下技術方案：

本發明提供了一種基于動態濾波解耦卷積網絡的RGB-D顯著性檢測方法，包括：

步驟1、基于同一傳感器獲取的同一場景的RGB圖像與相應的場景配準的深度圖像，獲取RGB圖像張量I_R和深度圖像張量I_D；

步驟2、分別將RGB圖像張量I_R和深度圖像張量I_D輸入編碼器網絡提取單模態特征組，根據編碼器網絡特性以及層級劃分，生成RGB特征組與深度特征組

步驟3、將RGB特征組與深度特征組分別放到各自的模態特定的整體引導動態增強模塊，進行模態特定的特征增強；所述模態特定的整體引導動態增強模塊基于解耦的動態濾波卷積網絡；