[發明專利]一種RGB-D圖像顯著性目標獲取的方法

在審

• 申請號: 202010070635.4
• 申請日: 2020-01-21
• 公開（公告）號: CN111242238A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 叢潤民;李重儀;趙耀;鐘啟航;李心怡;王玉潔
• 申請（專利權）人: 北京交通大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 劉源

1.一種RGB-D圖像顯著性目標獲取的方法，其特征在于，包括：

基于輸入的RGB-D圖像，通過交織融合網絡中的RGB分支、深度分支分別提取RGB圖像和深度圖像的跨模態特征；

基于RGB圖像和深度圖像的跨模態特征，通過交織融合網絡中的融合分支由深到淺的逐步整合來自同一級的跨模態特征，得到具有判別力的顯著性特征；

基于顯著性特征，通過損失函數進行顯著性預測，得到顯著性結果圖。

2.根據權利要求1所述的方法，其特征在于，所述的基于輸入的RGB-D圖像，通過交織融合網絡中的RGB分支和深度分支分別提取RGB圖像和深度圖像的跨模態特征包括：

基于RGB-D圖像的RGB圖像，通過交織融合網絡的RGB分支進行特征提取，獲得深度引導的RGB-D特征；

基于RGB-D圖像的深度圖像，通過交織融合網絡的深度分支進行特征提取，獲得RGB引導的RGB-D特征；

該兩個子步驟同時執行；RGB分支和深度分支都分別包括多個特征適配層用于跨模態特征轉換；RGB分支還用于引導深度分支進行特征提取，深度分支還用于引導RGB分支進行特征提取。

3.根據權利要求2所述的方法，其特征在于，所述的基于輸入的RGB-D圖像，通過交織融合網絡中的RGB分支、深度分支分別提取RGB圖像和深度圖像的跨模態特征還包括：

基于RGB-D圖像，分別通過和

(2)進行特征提取，獲得跨模態特征，式中，表示當前RGB特征f_rgb和來自深度分支的引導特征g_d(f_d)的級聯特征，g_d表示深度分支的特征適配層，f_d表示同一級的對應深度特征，表示當前深度特征f_d和來自RGB分支的引導特征g_rgb(f_rgb)的級聯特征，g_rgb表示RGB分支的特征適配層，f_rgb表示同一級上的對應RGB特征，{·,·}表示特征級聯操作。

4.根據權利要求1所述的方法，其特征在于，所述的基于RGB圖像和深度圖像的跨模態特征，通過交織融合網絡中的融合分支由深到淺的逐步整合來自同一級的跨模態特征，得到具有判別力的顯著性特征級包括：

基于跨模態特征，由深到淺地逐步整合來自同一級的跨模態特征，并通過深度監督方法產生三組側輸出；

基于側輸出，通過塊內殘差注意力模塊并根據跨模態特征中各區域的重要程度，對跨模態特征中各區域進行加權。

5.根據權利要求4所述的方法，其特征在于，所述的基于側輸出，通過塊內殘差注意力模塊并根據跨模態特征中各區域的重要程度，對跨模態特征中各區域進行加權包括：

通過塊內殘差注意力模塊，對同一級跨模態特征的淺層特征進行加權，使跨模態特征中各區域具有相適應的權重。

6.根據權利要求5所述的方法，其特征在于，塊內殘差注意力模塊表示為式中，f_inbRAM表示經過塊內殘差注意力模塊后的特征，f表示一組輸入特征，W_sp表示同一級的側輸出，和分別表示逐像素相加和相乘操作。

7.根據權利要求4所述的方法，其特征在于，所述的基于顯著性特征，通過損失函數，進行顯著性預測，得到顯著性結果圖包括：

通過損失函數，對交織融合網絡進行約束訓練；

該損失函數由交叉熵損失項和對抗損失項生成；

該交叉熵損失項表示為(4)，式中，φ表示網絡需要學習的參數，Y₊和Y_表示顯著性真圖Y中的正樣本和負樣本像素X表示給定的RGB-D圖像，P(·)表示像素的顯著性置信值，*＝{f,s1,s2,s3}分別對應最終輸出和側輸出；

該對抗損失項表示為式中，G表示生成器，D表示鑒別器，I表示輸入；

損失函數表示為：

式中，和分別表示最終輸出和側輸出的標準交叉熵損失項，表示對抗損失項，λ用于控制對抗損失項比例。