[發明專利]一種多模態多拼接的RGB-D顯著性目標檢測方法

有效

• 申請號: 202110461176.7
• 申請日: 2021-04-27
• 公開（公告）號: CN113128519B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 陳莉;趙志華
• 申請（專利權）人: 西北大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/56;G06V10/774;G06V10/82;G06V10/50;G06N3/0464;G06N3/08
• 代理公司: 西安合創非凡知識產權代理事務所(普通合伙) 61248
• 代理人: 馬英

本發明公開了一種多模態多拼接的RGB?D顯著性目標檢測方法，包括如下步驟：S1、將圖像劃分不重疊子區域，分別提取各個圖像子區域的RGB圖像顏色信息、Depth圖像深度信息、對稱不變LBP特征，并基于對稱不變LBP特征形成區域直方圖；S2、基于類條件互信息熵度量RGB圖像顏色信息、Depth圖像深度信息、區域直方圖的相關性,利用自適應的得分融合算法實現RGB圖像顏色信息、Depth圖像深度信息、區域直方圖在得分層次進行融合，求出每個圖像子區域的最終的得分；S3、基于每個圖像子區域的最終得分實現圖像的顯著性目標檢測。本發明可以快速高效實現顯著性目標的檢測，且可以顯著性檢測的精度。

技術領域

本發明涉及圖像檢測領域，具體涉及一種多模態多拼接的RGB-D顯著性目標檢測方法。

背景技術

顯著性目標檢測是計算機視覺的一個重要組成部分，隨著計算機視覺領域的不斷發展，迫切需要效率更高，準確度更好的顯著性目標檢測方法。

在顯著性檢測發展的期間，各種方法層出不窮，例如利用了圖像的顏色特征、位置信息、紋理特征等。一些傳統方法更是采用中心先驗、邊緣先驗、語義先驗等。但是由于圖像中的顏色場景非常復雜，對象和背景之間沒有明顯的對比時，這些模型經常會失敗，光是靠這些特征很難分辨相近似的物體。

發明內容

為解決上述問題，本發明提供了一種多模態多拼接的RGB-D顯著性目標檢測方法，可以快速高效實現顯著性目標的檢測，且可以顯著性檢測的精度。

同時利用可見光攝像頭與近紅外攝像頭的互補性，利用深度學習算法同時對可見光人臉圖片進行特征提取，最后使用融合算法對深度學習模型提取到的特征進行得分層次的融合，起到一個優勢互補的作用。

為實現上述目的，本發明采取的技術方案為：

一種多模態多拼接的RGB-D顯著性目標檢測方法，包括如下步驟：

S1、將圖像劃分不重疊子區域，分別提取各個圖像子區域的RGB圖像顏色信息、Depth圖像深度信息、對稱不變LBP特征，并基于對稱不變LBP特征形成區域直方圖；

S2、基于類條件互信息熵度量RGB圖像顏色信息、Depth圖像深度信息、區域直方圖的相關性,利用自適應的得分融合算法實現RGB圖像顏色信息、Depth圖像深度信息、區域直方圖在得分層次進行融合，求出每個圖像子區域的最終的得分；

S3、基于每個圖像子區域的最終得分實現圖像的顯著性目標檢測。

進一步地，所述步驟S1中，基于深度卷積網絡實現各個子區域的RGB圖像顏色信息、Depth圖像深度信息、對稱不變LBP特征的提取。

進一步地，所述步驟S1中，首先基于Dssd_?Xception?_coco模型實現圖像內載目標的檢測，然后基于目標的檢測結果實現圖像子區域的劃分。

進一步地，每一個目標配置一圖像子區域，剩余背景配置一圖像子區域。

進一步地，所述Dssd_?Xception?_coco模型采用DSSD目標檢測算法，用coco數據集預訓練Xception神經網絡，然后用先前準備好的數據集訓練該模型，微調深度神經網絡中的各項參數，最后得到合適的用于檢測圖像內載各目標的檢測模型。

進一步地，所述步驟S3中，基于ResNet50模型根據每個圖像子區域的最終得分實現圖像的顯著性目標檢測。

進一步地，還包括：實現圖像人眼觀測角度的識別的步驟，不同的人眼觀測角度對應不同的圖像偏轉角度調整模型，基于圖像偏轉角度模型實現圖像偏轉角度的調整

本發明具有以下有益效果：

可以快速高效實現顯著性目標的檢測，且可以顯著性檢測的精度。

附圖說明