[發明專利]一種多模態多拼接的RGB-D顯著性目標檢測方法

有效

• 申請號: 202110461176.7
• 申請日: 2021-04-27
• 公開（公告）號: CN113128519B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 陳莉;趙志華
• 申請（專利權）人: 西北大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/56;G06V10/774;G06V10/82;G06V10/50;G06N3/0464;G06N3/08
• 代理公司: 西安合創非凡知識產權代理事務所(普通合伙) 61248
• 代理人: 馬英

1.一種多模態多拼接的RGB-D顯著性目標檢測方法，其特征在于，包括如下步驟：

S1、實現圖像人眼觀測角度的識別的步驟，不同的人眼觀測角度對應不同的圖像偏轉角度調整模型，基于圖像偏轉角度模型實現圖像偏轉角度的調整；

S2、將圖像劃分不重疊子區域，分別提取各個圖像子區域的RGB圖像顏色信息、Depth圖像深度信息、對稱不變LBP特征，并基于對稱不變LBP特征形成區域直方圖；

S3、基于類條件互信息熵度量RGB圖像顏色信息、Depth圖像深度信息、區域直方圖的相關性,利用自適應的得分融合算法實現RGB圖像顏色信息、Depth圖像深度信息、區域直方圖在得分層次進行融合，求出每個圖像子區域的最終的得分；

S4、基于每個圖像子區域的最終得分實現圖像的顯著性目標檢測。

2.如權利要求1所述的一種多模態多拼接的RGB-D顯著性目標檢測方法，其特征在于，所述步驟S1中，基于深度卷積網絡實現各個子區域的RGB圖像顏色信息、Depth圖像深度信息、對稱不變LBP特征的提取。

3.如權利要求1所述的一種多模態多拼接的RGB-D顯著性目標檢測方法，其特征在于，所述步驟S1中，首先基于Dssd_?Xception?_coco模型實現圖像內載目標的檢測，然后基于目標的檢測結果實現圖像子區域的劃分。

4.如權利要求3所述的一種多模態多拼接的RGB-D顯著性目標檢測方法，其特征在于，每一個目標配置一圖像子區域，剩余背景配置一圖像子區域。

5.如權利要求3所述的一種多模態多拼接的RGB-D顯著性目標檢測方法，其特征在于，所述Dssd_?Xception?_coco模型采用DSSD目標檢測算法，用coco數據集預訓練Xception神經網絡，然后用先前準備好的數據集訓練該模型，微調深度神經網絡中的各項參數，最后得到合適的用于檢測圖像內載各目標的檢測模型。

6.如權利要求1所述的一種多模態多拼接的RGB-D顯著性目標檢測方法，其特征在于，所述步驟S3中，基于ResNet50模型根據每個圖像子區域的最終得分實現圖像的顯著性目標檢測。