[發明專利]一種RGBD圖像協同顯著性檢測方法

有效

• 申請號: 201810879724.6
• 申請日: 2018-08-03
• 公開（公告）號: CN109255357B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 雷建軍;叢潤民;鄭澤勛;李重儀;徐立瑩;張哲
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種RGBD圖像協同顯著性檢測方法，所述方法包括：計算給定的RGBD圖像組的圖內顯著性圖；在圖內顯著性圖的輔助下，圖間對應關系被建模為一個層次化的稀疏重建框架，其中全局重建模型用于捕獲圖像組的全局特性，交互重建模型用于挖掘圖像對之間的交互關系；將全局重建模型和交互重建模型的顯著性結果融合，獲取層次化的圖間顯著性結果；通過包含數據項、空間平滑性和全局一致項的能量函數，對圖內顯著性結果和層次化的圖間顯著性結果進行優化，得到最終的協同顯著性檢測結果。本發明可以準確提取圖像組中的共有顯著性目標，背景抑制能力強，顯著性目標輪廓清晰。

技術領域

本發明涉及圖像處理、立體視覺技術領域，尤其涉及一種RGBD圖像協同顯著性檢測方法。

背景技術

視覺注意力機制使得人們可以快速從復雜場景中定位出感興趣區域或顯著性目標。作為計算機視覺任務中的一個分支，顯著性檢測致力于使得計算機具備自動定位顯著性區域的能力，已被廣泛應用于各種視覺任務，如分割、重定向、增強、評價、檢索、編碼、壓縮等。過去的10年時間見證了圖像顯著性檢測領域的飛速發展和性能飛躍。實際上，人類在感知場景信息的時候，除了能夠捕獲目標的顏色、形狀等外貌信息外，還可以感知場景的深度信息。隨著成像設備的進步與發展，場景深度數據的獲取方式變得更加快捷、便利。相比于RGB圖像顯著性檢測任務，面向包含深度信息的RGBD圖像的顯著性檢測任務起步相對較晚，相關技術尚不成熟。如何充分利用深度數據來輔助顯著性目標判別是當前的一個研究熱點。

此外，隨著數據體量的井噴式增長，人們需要協同地同時處理多張相關圖像。作為傳統圖像顯著性檢測的擴展，協同顯著性檢測旨在從包含多張圖像的圖像組中發現共有的顯著性目標，即圖像組中反復出現的顯著性目標。該技術已被廣泛應用于協同分割、協同定位、圖像匹配中，研究前景廣闊，意義重大。不同于圖像顯著性檢測，協同顯著性檢測需要通過圖間約束關系對圖像組中顯著性目標的共有屬性進行甄別。換言之，協同顯著性目標不僅是單張圖像中相對于背景區域突出的目標，還應在整個圖像組中反復出現。協同顯著性檢測是一個新興的、具有挑戰性的任務，現有算法也主要關注RGB圖像的協同顯著性目標檢測，甚少進一步開發面向RGBD圖像的協同顯著性檢測算法。

Li等人利用兩階段的顯著性模型來指導協同顯著性檢測。Fu等人利用融合多線索的聚類方法提取圖像組中的共有顯著性目標。Tao等人將低秩約束引入協同顯著性檢測中。Cong等人提出了一種基于循環迭代的RGBD協同顯著性檢測模型。Song等人基于Bagging聚類算法實現了RGBD圖像的協同顯著性檢測。

發明人在實現本發明的過程中，發現現有技術中至少存在以下缺點和不足：

現有技術大多利用匹配算法獲取圖間對應關系，雖然可以獲得較好的準確性，但運算量較大，計算復雜度較高；現有基于聚類的算法以準確性換取了時效性，使得算法性能大打折扣；目前現有算法很難同時兼顧有效性和時效性。

發明內容

本發明提供了一種RGBD圖像協同顯著性檢測方法，本發明通過深入挖掘RGBD圖像之間的層次化圖間關系，設計一種有效的RGBD圖像協同顯著性檢測模型，提取圖像組中的共有顯著性目標，詳見下文描述：

一種RGBD圖像協同顯著性檢測方法，所述方法包括以下步驟：

計算給定的RGBD圖像組的圖內顯著性圖；

在圖內顯著性圖的輔助下，圖間對應關系被建模為一個層次化的稀疏重建框架，其中全局重建模型用于捕獲圖像組的全局特性，交互重建模型用于挖掘圖像對之間的交互關系；

將全局重建模型和交互重建模型的顯著性結果融合，獲取層次化的圖間顯著性結果；

通過包含數據項、空間平滑性和全局一致項的能量函數，對圖內顯著性結果和層次化的圖間顯著性結果進行優化，得到最終的協同顯著性檢測結果。