[發明專利]基于圖像語義和細節的RGB-D顯著性物體檢測器

有效

• 申請號: 202010004815.2
• 申請日: 2020-01-03
• 公開（公告）號: CN111242181B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 王鵬杰;趙世敏
• 申請（專利權）人: 大連民族大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06V10/40;G06V20/70;G06N3/0464;G06N3/048;G06N3/082
• 代理公司: 大連智高專利事務所(特殊普通合伙) 21235
• 代理人: 劉斌

基于圖像語義和細節的RGB?D顯著性物體檢測器，屬于圖像顯著性物體檢測領域，為了解決現有圖像處理顯著性特征的效果表達不佳的問題，本發明提出如下技術方案：一種基于圖像語義和細節的RGB?D顯著性物體檢測器，包括特征融合互補網絡，特征融合互補網絡的架構主要由RGB特征流提取器、深度特征流提取器、高級語義融合模塊、輪廓細節融合模塊組成，效果是使用SFM通過非線性加權求和來捕獲RGB特征和深度特征的高級相互依存的語義關系，還使用DFM集成了多維輪廓細節特征，以補充SFM提取的特征并增強了細節表達能力。

技術領域：

本發明屬于圖像顯著性物體檢測領域，涉及一種RGB-D圖像中的顯著性物體檢測方法，具體為基于圖像語義和細節的RGB-D顯著性物體檢測方法。

背景技術：

以前基于的顯著性目標檢測方法RGB-D可以分為三類，早期融合(或輸入融合)，后期融合(或結果融合)和中間融合(或特征融合)。

在早期融合方案中，通常將RGB特征和深度特征直接結合在一起，然后經過一系列處理最終獲得顯著性圖的過程。論文“RGB-D?salient?object?detection:a?benchmarkand?algorithms”將RGB-D圖像用作輸入并融合從低級對比，中級區域分組和高級先驗。為了解決由高對比度產生的誤報結果問題，論文“Local?background?enclosure?for?RGB-Dsalient?object?detection”使用本地背景外殼檢測明顯的物體。論文“Depth-awaresalient?object?detection?and?segmentation?via?multiscale?discriminativesaliency?fusion?andbootstrap?learning”采用不同的方法級別功能并訓練隨機森林回歸器進行融合判別顯著性圖。論文“RGBD?salient?object?detection?via?deep?fusion”嘗試使用RGB-D圖像中的傳統手工特征作為輸入，然后將這些特征利用CNN網絡和拉普拉斯傳播算法生成顯著性圖。

在后期融合中，RGB特征和深度特征首先經過不同的流程，然后將處理后的特征融合在一起聯合最終顯著性預測。論文“Depth?Enhanced?Saliency?Detection?Method”提出深度增強顯著性檢測方法通過考慮顏色和深度以使其更擴展到復雜的背景。論文“Stereoconfidence?metrics?using?the?costs?ofsurroundingpixels”提出了一種結合區域顯著性檢測方法深度對比，深度加權顏色對比區域并提取四個特征，包括顏色，亮度，離散余弦變換系數的紋理和深度用于特征對比計算和最終融合。

第三類通常基于CNN方法。通常，對RGB特征和深度特征進行預處理單獨獲得中間特征，然后融合，并為最終顯著性圖進行進一步的處理。論文“Progressivelycomplementarity-aware?fusion?network?for?RGB-D?salient?object?detection”提出互補性意識，通過逐步合并和融合實現融合網絡補充跨模型和跨級別功能深層次的監督。論文“CNNs-Based?RGB-D?Saliency?Detection?via?Cross-View?Transfer?andMultiview?Fusion”首先使用RGB?CNN顯著性網絡參數通過附加的隱藏結構監視來訓練深度輸入數據進行跨視圖傳輸。然后，他們提出了具有新的全連接的多視圖融合方法圖層融合RGB和深度功能。不同于傳統的兩流方法，論文“Three-stream?attention-awarenetwork?for?RGB-D?salient?objectdetection”通過介紹一個三流架構自下而上的流來連接和融合RGB功能和深度功能。他們還介紹了交叉模型基于注意機制的級別塊以減少融合不確定的最佳性能。論文“Contrast?Prior?andFluid?Pyramid?Integration?for?RGBDSalient?Object?Detection”首先通過對比設計基于CNN的網絡在增強深度圖像之前。為了更好的兼容性RGB特征和深度特征，流體金字塔集成引入了體系結構以融合這些層次結構特征。