[發明專利]一種RGB-D圖像顯著性目標檢測方法

在審

• 申請號: 202010199264.X
• 申請日: 2020-03-20
• 公開（公告）號: CN111583173A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 叢潤民;李重儀;趙耀;張淳杰;白慧慧;劉美琴
• 申請（專利權）人: 北京交通大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/13
• 代理公司: 北京衛平智業專利代理事務所(普通合伙) 11392
• 代理人: 張新利;謝建玲

本發明涉及一種RGB?D圖像顯著性目標檢測方法，包括如下步驟：1、從VGG主干網絡中提取自頂向下的RGB?D特征，然后將RGB?D特征送入跟每個層級相對應的跨模態調制與選擇單元；2、通過跨模態特征調制模塊對多級RGB?D特征進行調制；3、通過自適應特征選擇模塊得到與顯著性相關的特征；通過顯著顯著性邊緣預測部分生成顯著性邊緣圖；4、求得修正特征；5、利用修正特征通過顯著性圖預測部分進行顯著性圖預測，并以第1層級輸出的顯著性圖作為網絡的最終輸出顯著性結果。本發明能夠充分挖掘跨模態數據之間的互補信息，獲得更具判別力的特征表達，生成更加完整、準確、邊緣清晰的顯著性圖，且具有較強的背景抑制能力。

技術領域

本發明屬于計算機視覺、深度學習領域，涉及一種RGB-D圖像顯著性目標檢測方法。

背景技術

人類的視覺系統可在大范圍、復雜的場景中快速定位出最吸引注意的內容或目標。而視覺顯著檢測任務就是受此機制啟發，目的在于檢測出輸入數據(如圖像、視頻等)最受關注的目標或區域，已經被廣泛應用于目標檢測、圖像編輯、視頻濃縮等研究領域，以及智能拍照、推薦系統、自動駕駛等工程領域，具有重要的研究價值和廣闊的市場前景。隨著各類成像設備與硬件技術的發展，深度信息的獲取方式變得更加簡單、方便，目前許多手機生產廠商(如蘋果、華為、三星等)都為其旗艦手機配備了深度傳感裝置。借助深度信息，可以進一步優化智能拍照效果，同時也可以進一步為AR/VR等新應用提供數據支持，發展前景和態勢良好。

立體圖像(RGB-D圖像)數據為場景描述提供了彩色和深度兩種模態信息，更接近于人類真實的視覺感知系統，兩種模態信息相輔相成、互為補充，可以提供更加全面的數據表達方法，有利于進一步增強顯著性檢測等任務的性能。近年來，深度學習技術的蓬勃發展極大地促進了顯著性檢測任務的性能提升。Qu等人提出了一種結合頂底層顯著性線索與卷積神經網絡(CNN)的RGB-D圖像顯著性目標檢測方法。Han等人提出了雙流RGB-D顯著檢測網絡，并將RGB網絡結構遷移到深度視角。Chen等人提出了一種多尺度-多路徑融合網絡實現RGB-D顯著性目標檢測，升級了傳統的雙流融合架構。Chen等人提出了一種三流注意力感知的RGB-D顯著性目標檢測網絡，并通道注意力機制實現了自適應選擇跨模態互補特征。Zhao等人首先利用對比度先驗來增強深度信息，然后通過流體金字塔集成網絡實現了RGB-D顯著性目標檢測。Li等人提出了一種基于交織融合的RGB-D顯著性檢測網絡，通過交織融合方式步進式融合跨模態的互補信息。Piao等人提出了一種多尺度遞歸的RGB-D顯著性網絡，在復雜場景中獲得了較好的檢測性能。

發明人在實現本發明的過程中，發現現有技術中至少存在以下缺點和不足：(1)RGB-D圖像設計RGB和深度兩種模態，而跨模態數據的不一致問題會降低學習得到的特征的判別力；(2)RGB-D圖像中的深度圖質量較差時容易引入噪聲干擾，如毛糙的深度圖邊界會導致檢測結果邊緣不夠銳利等。

發明內容

本發明旨在充分挖掘彩色和深度的跨模態互補信息，降低低質深度圖對檢測結果的影響，設計一種基于跨模態調制與選擇的RGB-D圖像顯著性目標檢測方法，獲得更佳的檢測性能。

為達到以上目的，本發明采取的技術方案是：

一種RGB-D圖像顯著性目標檢測方法，包括如下步驟：

步驟1、將RGB圖像和深度圖像分別輸入VGG主干網絡提取多個層級自頂向下的RGB特征和深度特征；

步驟2、將每個層級得到的RGB特征和深度特征分別送入跟每個層級相對應的跨模態調制與選擇單元得到每個層級的顯著性圖，并以第1層級輸出的顯著性圖作為網絡的最終輸出顯著性結果。

在上述方案的基礎上，每個層級通過跨模態調制與選擇單元得到對應顯著性圖的具體步驟如下：