[發明專利]一種基于動態濾波解耦卷積網絡的RGB-D顯著性檢測方法

在審

• 申請號: 202110653578.7
• 申請日: 2021-06-11
• 公開（公告）號: CN113379707A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 張淼;樸永日;姚舜禹
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/33;G06T7/50;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 陳麗;李洪福

1.一種基于動態濾波解耦卷積網絡的RGB-D顯著性檢測方法，其特征在于，包括：

步驟1、基于同一傳感器獲取的同一場景的RGB圖像與相應的場景配準的深度圖像，獲取RGB圖像張量I_R和深度圖像張量I_D；

步驟2、分別將RGB圖像張量I_R和深度圖像張量I_D輸入編碼器網絡提取單模態特征組，根據編碼器網絡特性以及層級劃分，生成RGB特征組與深度特征組

步驟3、將RGB特征組與深度特征組分別放到各自的模態特定的整體引導動態增強模塊，進行模態特定的特征增強；所述模態特定的整體引導動態增強模塊基于解耦的動態濾波卷積網絡；

步驟4、將增強后的RGB特征和深度特征輸入場景注意的跨模態動態融合模塊，進行模態間的特征融合；所述場景注意的跨模態動態融合模塊基于解耦的動態濾波卷積網絡；

所述解耦的動態濾波卷積網絡，包括：將原始的局部動態過濾器內核解耦為空間動態內核K_sp和通道動態內核K_ch，表示為：K_g＝[K_sp，K_ch]；

K_g指的是動態濾波核組；整個動態卷積F_DC表示為：

F_DC(K_g，f)＝Cat[F_SDC，F_CDC]

其中，f是被動態濾波處理的特征，Cat是級聯操作，是解耦的動態空間卷積，是解耦的動態通道卷積；

步驟5、將融合后的特征輸入解碼器，然后再加上第二層的RGB特征得到并輸出預測的顯著性結果圖像。

2.根據權利要求1所述的基于動態濾波解耦卷積網絡的RGB-D顯著性檢測方法，其特征在于，模態特定的整體引導的動態增強模塊包括：整體引導的空間動態濾波器生成器、整體引導的通道動態濾波器生成器以及所述解耦的動態濾波卷積網絡；

整體引導的空間動態濾波器生成器包括：3，4，5層的特征圖F₃，F₄，F₅按照通道維度級聯在一起得到特征圖F_ms，通過1×1卷積層進行處理，以獲得縮減通道的特征圖通過softmax操作對卷積核進行正規化，得到空間動態濾波器；

整體引導的通道動態濾波器生成器包括：將第3，4，5層的特征圖F₃，F₄，F₅先經過1×1卷積的過渡層縮減通道到c，按照通道維度級聯在一起得到特征圖F_ms，通過1×1卷積層進行處理，以獲得縮減通道的特征圖應用自適應全局池化操作和1×1卷積操作，得到通道動態濾波器；

其中，(a²*k²)是縮減后的通道的數量，a是擴展比率，a＝width(F_i)/width(F₅)，width是特征的寬度，h是特征圖的高，w是特征圖的寬，k²是濾波核的大小，c是特征圖的通道，i是特征圖的層級；

空間動態濾波器和通道動態濾波器生成之后，再分別和第3，4，5層的特征圖F₃，F₄，F₅一起傳入解耦的動態濾波卷積網絡，進行空間維度和通道維度的處理；同時，通過相加操作將全局平均池化后的F_ms作為補充加到單層特征上，處理完的特征經過通道維度的級聯然后通過一個1×1卷積層縮減通道到c，得到增強后的特征F_GG。