[發明專利]一種RGBD圖像協同顯著性檢測方法

有效

• 申請號: 201810879724.6
• 申請日: 2018-08-03
• 公開（公告）號: CN109255357B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 雷建軍;叢潤民;鄭澤勛;李重儀;徐立瑩;張哲
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種RGBD圖像協同顯著性檢測方法，其特征在于，所述方法包括以下步驟：

計算給定的RGBD圖像組的圖內顯著性圖；

在圖內顯著性圖的輔助下，圖間對應關系被建模為一個層次化的稀疏重建框架，其中全局重建模型用于捕獲圖像組的全局特性，交互重建模型用于挖掘圖像對之間的交互關系；

將全局重建模型和交互重建模型的顯著性結果融合，獲取層次化的圖間顯著性結果；

通過包含數據項、空間平滑性和全局一致項的能量函數，對圖內顯著性結果和層次化的圖間顯著性結果進行優化，得到最終的協同顯著性檢測結果；

其中數據項用來約束更新后的顯著性值不能與原始顯著性值差別太大；圖內平滑項用來約束圖內相鄰的近似超像素具有更加一致的顯著性值；全局一致項用來約束與全局前景超像素接近的區域的顯著性值更接近于1。

2.根據權利要求1所述的一種RGBD圖像協同顯著性檢測方法，其特征在于，所述全局重建模型的構建過程具體為：

選擇初始前景種子點，考慮類別、顏色、深度和顯著性約束，計算一致性測度對初始前景種子點進行篩選，根據閾值選擇初始前景種子點集合中具有較大一致性值的超像素作為最終前景種子點；

將最終前景種子點集合中超像素的特征向量堆疊排列后得到全局前景字典，利用重建誤差來測量圖像的顯著性；

獲取超像素的全局圖間顯著性。

3.根據權利要求2所述的一種RGBD圖像協同顯著性檢測方法，其特征在于，所述考慮類別、顏色、深度和顯著性約束，計算一致性測度對初始前景種子點進行篩選具體為：

利用K均值聚類將初始前景種子點集合中的超像素分為若干類，每個超像素對應一個類中心；

考慮類別、顏色、深度和顯著性約束，獲取初始前景種子點集合中的每個超像素的一致性測度；

根據閾值選擇初始前景種子點集合中具有較大一致性值的超像素作為最終前景種子點。

4.根據權利要求2所述的一種RGBD圖像協同顯著性檢測方法，其特征在于，所述將最終前景種子點集合中超像素的特征向量堆疊排列后得到全局前景字典的步驟之前，所述方法還包括：

采用顏色分量、深度屬性、空間位置和紋理分布來對超像素進行特征表示。

5.根據權利要求2所述的一種RGBD圖像協同顯著性檢測方法，其特征在于，所述超像素的全局圖間顯著性具體為：

其中，表示超像素通過全局前景字典D_GF重建得到的重建誤差，為超像素的特征表示，表示超像素的最優稀疏系數，||·||₂為2范數，σ²＝0.1是常數。

6.根據權利要求1所述的一種RGBD圖像協同顯著性檢測方法，其特征在于，所述交互重建模型的構建過程具體為：

根據每張圖像的圖內顯著性檢測結果，按照顯著性值進行從大到小排序，選擇前K個超像素區域作為種子點，提取特征向量，堆疊組合后得到N個交互前景字典；

當前圖像Iⁱ可被同組中其他N-1個圖像生成的N-1個字典分別重建，得到N-1個顯著性結果；

利用圖像I^k生成的交互前景字典對圖像Iⁱ進行交互重建，k＝1,2,...,N且k≠i，獲取超像素的交互圖間顯著性。

7.根據權利要求6所述的一種RGBD圖像協同顯著性檢測方法，其特征在于，所述超像素的交互圖間顯著性具體為：

其中，表示超像素通過交互前景字典重建得到的重建誤差，表示超像素由交互前景字典重建時得到的最優稀疏系數，為超像素的特征表示，||·||₂為2范數，σ²＝0.1是常數。

8.根據權利要求1所述的一種RGBD圖像協同顯著性檢測方法，其特征在于，所述能量函數具體為：

其中，表示超像素r_m優化后的顯著性值，s_m＝S_a(r_m)·S_r(r_m)表示超像素r_m的初始顯著性值，S_a(r_m)為超像素r_m的圖內顯著性值，S_r(r_m)為超像素r_m的層次化的圖間顯著性值，為整個圖像組中所有超像素的初始顯著性值組成的向量，為整個圖像組中所有超像素的優化后的顯著性值組成的向量，T為轉置，為圖像組中所有圖像所有超像素的總個數，Ω表示圖內超像素的空間鄰接關系，W為相似性矩陣，其中每個元素a_mn表示兩個超像素區域的相似性；為相似性矩陣W的度矩陣，μ_i表示超像素r_i與整個圖像組的全局前景模型之間的顏色直方圖的距離。