[發明專利]針對RGB-D圖像的顯著目標檢測方法

在審

• 申請號: 202310434477.X
• 申請日: 2023-04-21
• 公開（公告）號: CN116597169A
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 王豐;吳文介
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/80;G06V10/10;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 廣東廣信君達律師事務所 44329
• 代理人: 余勝茂

1.針對RGB-D圖像的顯著目標檢測方法，其特征在于，包括：

按指定數量采樣RGB圖和深度圖樣本，形成采樣數據，并采用數據增強技術對所述采樣數據進行預處理，得到待處理數據；

特征提取階段的各層跨模態融合中，使用注意力機制推理顯著區域，以確定不同區域的顯著性程度，各層次融合得到低級特征和高級特征；

在特征引導中，對所述高級特征和所述低級特征進行拼接和卷積操作，得到RGB特征和深度特征的聯合特征；

根據所述RGB特征和深度特征的聯合特征動態分配RGB圖和深度圖特征的權值，得到顯著目標檢測模型；

根據所述顯著目標檢測模型實現顯著目標檢測結果。

2.根據權利要求1所述的針對RGB-D圖像的顯著目標檢測方法，其特征在于，所述特征提取階段的各層跨模態融合中，使用注意力機制推理顯著區域，以確定不同區域的顯著性程度，各層次融合得到高級特征和低級特征，包括：

按指定數量采集RGB圖和深度圖樣本，并利用數據增強技術處理所述RGB圖和深度圖樣本；

在特征提取網絡對輸入的所述RGB圖和深度圖樣本進行特征提取；所述特征提取網絡內運用注意力機制進行特征的跨模態優化，將優化后的特征各自作為下層的輸入；

選取特定層次特征通過特征融合得到低級特征；其他層次特征和空洞空間卷積池化金字塔的輸出特征通過特征融合得到高級特征。

3.根據權利要求2所述的針對RGB-D圖像的顯著目標檢測方法，其特征在于：

所述特征提取網絡包括兩個獨立的VGG16分支；

每個VGG1?6分支分為5個子層；

VGG16的第五子層的輸出要經過空洞空間卷積池化金字塔，該空洞空間卷積池化金字塔由四個膨脹卷積組成，卷積核大小和膨脹率為[k＝1，d＝1；k＝3，d＝6；k＝3，d＝12；k＝3，d＝18]；；其中，k代表卷積核的大小，d代表膨脹卷積的膨脹率。

4.根據權利要求2所述的針對RGB-D圖像的顯著目標檢測方法，其特征在于，所述運用注意力機制進行特征的跨模態優化，將優化后的特征各自作為下層的輸入，包括：

將特征提取網絡內的兩個所述獨立的VGG16分支中對應子層的特征作為特征優化的輸入，并獲取空間注意得分，得到空間注意力權重矩陣S_*(S_R、S_D)，具體如下：

S_*＝σ(F^1×1(F^3×3(F))；

其中，F為RGB特征或深度特征；F^3×3為RGB特征或深度特的3×3卷積；F^1×1為RGB特征或深度特的1×1卷積；σ為Sigmoid函數；

基于所述空間注意得分，將空間注意力權重矩陣按元素相乘和相加，得到經過空間注意力處理后的各個層次的特征，如下式：

其中，F_*為輸入對應的RGB特征或深度特征；S_*為RGB特征或深度特征的空間注意力權重矩陣；是經過空間注意力計算后的特征；S_R為RGB特征的空間注意力權重矩陣；S_D為深度特征的空間注意力權重矩陣；

將一個C×H×W的特征先分別將其送入一個1×1的卷積；然后，分別進行一個空間的全局平均池化AvgPool和最大池化MaxPoo?l得到兩個C×1×1的通道描述；

將得到的兩個通道描述相加后經過一個Sigmoid激活函數得到通道注意力權重系數C_*(C_R、C_D)，其中，C_*為RGB特征的通道注意力權重系數C_R或者深度特征的通道注意力權重系數C_D；

通過C_*與得到經通道注意力處理后的特征

將得到的經過自注意力機制后得到經特征優化后的輸出，作為下一子層的輸入；

并將在第3維度進行展開，將展開后的特征分別經過W^Q、W^K、W^V線性矩陣得到Q、K、V矩陣；

利用下式得到作為下一子層的輸入：

其中，dK表示K的維度；S為Softmax函數；M是將計算后的特征展開的操作，然后與進行殘差連接。