[發明專利]一種RGB-D圖像顯著性目標檢測方法

在審

• 申請號: 202010199264.X
• 申請日: 2020-03-20
• 公開（公告）號: CN111583173A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 叢潤民;李重儀;趙耀;張淳杰;白慧慧;劉美琴
• 申請（專利權）人: 北京交通大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/13
• 代理公司: 北京衛平智業專利代理事務所(普通合伙) 11392
• 代理人: 張新利;謝建玲

1.一種RGB-D圖像顯著性目標檢測方法，其特征在于，包括如下步驟：

步驟1、將RGB圖像和深度圖像分別輸入VGG主干網絡提取多個層級自頂向下的RGB特征和深度特征；

步驟2、將每個層級得到的RGB特征和深度特征分別送入跟每個層級相對應的跨模態調制與選擇單元得到每個層級的顯著性圖，并以第1層級輸出的顯著性圖作為網絡的最終輸出顯著性結果。

2.如權利要求1所述的RGB-D圖像顯著性目標檢測方法，其特征在于，每個層級通過跨模態調制與選擇單元得到對應顯著性圖的具體步驟如下：

1)通過跨模態特征調制模塊學習一個深度特征上的映射函數進而得到第L層級上的一組仿射變換參數(γ^L,β^L)；根據得到的仿射變換參數，利用深度特征對RGB特征進行調制，得到調制后的特征

2)將RGB特征、深度特征、調制特征和上采樣的高層級修正特征送入自適應特征選擇模塊，以選擇性地強調不同的通道特征并融合重要的空間特征，得到與顯著性相關的特征

3)通過與顯著性相關的特征和上采樣的高層級顯著性圖計算第L層級的位置注意力特征

4)將RGB特征、深度特征、調制特征和上采樣的高層級修正特征級聯，然后將它們送入顯著性邊緣預測部分生成每個層級的顯著性邊緣圖；對于第L個層級，通過第L層級的位置注意力特征和第L層級的顯著性邊緣圖計算出邊緣注意力的輸出特征將作為最終用于顯著性預測的第L層級的修正特征；

5)利用第L層級的修正特征通過顯著性圖預測部分進行顯著性圖預測，得到第L層級的顯著性圖。

3.如權利要求1所述的RGB-D圖像顯著性目標檢測方法，其特征在于：在每個層級上都通過標準交叉熵損失來聯合優化網絡模型進行顯著性圖預測、顯著性邊緣預測，損失函數表示為：

其中，表示第k個層級的顯著性圖預測的標準交叉熵損失，表示第k個層級的顯著性邊緣預測的標準交叉熵損失,λ、η用于控制不同損失項比例。

4.如權利要求2所述的RGB-D圖像顯著性目標檢測方法，其特征在于：步驟1)中，所述仿射變換參數(γ^L,β^L)的計算公式如下：

其中，表示第L級的深度特征，上標L表示特征層級，表示映射函數，通過并行的堆疊卷積層實現，(γ^L,β^L)表示學習得到的參數；

調制后的特征的計算公式如下：

其中，表示第L級上得到的調制特征，表示第L級的RGB特征，表示像素級相乘操作，表示像素級相加操作。

5.如權利要求2所述的RGB-D圖像顯著性目標檢測方法，其特征在于：步驟2)中，所述與顯著性相關的特征的計算公式如下：

其中，表示第L級上得到的與顯著性相關的特征，表示第L級上得到的通道選擇特征，表示第L級上得到的空間融合特征，cat表示特征級聯操作。

6.如權利要求5所述的RGB-D圖像顯著性目標檢測方法，其特征在于：所述第L級上通道選擇特征的計算公式如下：

其中，表示第L級上的通道選擇特征，SE表示Squeeze-and-Excitation映射操作，conv表示卷積操作，cat表示特征級聯操作，表示不同模態的特征分別經過SE映射后得到的增強特征，表示第L層級提取的RGB特征，表示第L層級提取的深度特征，表示第L層級提取的調制特征，表示第L+1層級得到的上采樣修正特征。

7.如權利要求5所述的RGB-D圖像顯著性目標檢測方法，其特征在于：所述第L級上得到的空間融合特征的計算公式如下：

其中，表示第L級上得到的空間融合特征，表示不同模態的特征得到的像素級置信圖。