[發明專利]結合彩色和深度信息的圖像顯著性檢測方法

有效

• 申請號: 201410814816.8
• 申請日: 2014-12-23
• 公開（公告）號: CN104574375A
• 公開（公告）日: 2015-04-29
• 發明（設計）人: 任健強;龔小謹
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

技術領域

本發明屬于圖像處理技術領域，具體涉及一種結合彩色和深度信息的圖像顯著性檢測方法。

背景技術

圖像顯著性檢測是當前計算機視覺和模式識別領域的熱點課題之一。研究發現人眼視覺機制總是能快速地提取圖像中重要的,感興趣的區域,進而對這些區域進行分析和處理,而基本不會處理圖像中剩余的并不顯著的區域。這個原理為計算機視覺領域研究者提供很多啟示，即可以對圖像中的顯著區域進行檢測，提取出圖像中顯著的目標進行后續處理，節省了對全圖處理的時間，大大提高了圖像處理的效率。因此，圖像顯著性檢測可以廣泛的應用在圖像分割，目標識別和圖像檢索等領域。

圖像顯著性檢測按照處理問題過程的不同，可以分為兩類：自頂而下的檢測和自底而上的檢測。自頂而下的檢測方法依賴于特定的檢測任務，而自底而上的檢測方法則完全基于圖像本身的性質進行檢測。大多數的顯著性檢測的計算模型均利用圖像的顏色，紋理，梯度等信息，通過計算圖像不同區域的特征對比度實現的。

然而，以往的圖像顯著性算法大部分僅在彩色圖像上實現，沒有利用場景的深度信息，而深度信息對于人類進行場景理解是至關重要的。隨著彩色與深度結合的傳感器的廣泛應用，如何綜合利用彩色和深度信息也日益成為圖像顯著性研究的熱點方向。Houwen?Peng等人利用彩色和深度特征計算局部的對比度，然后利用區域生長算法進行顯著區域的聚類，最后利用物體位置的先驗對結果進行改進，該方法僅將深度信息以及通過深度計算得到的法向信息作為顏色之外的圖像特征分量，但對顏色信息對比不明顯的物體檢測效果不好。Ran?Ju等人利用深度信息，計算視差圖的各向異性中心—周邊差異實現顯著性的檢測，但是沒有與顏色信息相結合。Yuzhen?Niu等人計算全局的視差對比度，并基于顯著物體通常位于立體圖像的視覺舒適區域這一假設實現顯著性的分析，但是對于視差或深度對物體顯著性影響的挖掘依然不夠深入。

發明內容

本發明的目的在于克服上述現有技術的不足，充分利用深度信息的全局先驗特征，改進結合彩色和深度信息的顯著性檢測效果。

本發明的目的是通過以下技術方案來實現的：一種結合彩色和深度信息的圖像顯著性檢測方法，包括以下步驟：

(1)輸入待檢測彩色圖像及其對應的深度信息D；待檢測彩色圖像由紅、藍、綠三個顏色通道組成；深度信息D為彩色圖像每個像素對應的實際深度；

(2)對步驟1輸入的彩色圖像進行顏色空間轉換，由RGB顏色空間變換為CIELab顏色空間，對轉換后得到的圖像的每個像素提取5維向量(x,y,L,a,b),其中x表示圖像中當前像素的水平坐標，y表示圖像中當前像素的垂直坐標，L、a、b分別為顏色空間轉換后三個顏色通道的數值，對圖像所有像素對應的向量進行Meanshift聚類，實現圖像的超像素分割，將圖像分割成多塊區域的集合R＝{r_i；1≤i≤n,i∈Z},其中r_i表示分割得到的第i個區域，n表示區域總數目，Z表示整數集合；

(3)對步驟1輸入的深度信息D進行歸一化操作，最遠的深度值變換為1，最近的深度值變換為0，得到歸一化后的深度圖Dmap；

(4)結合拍攝圖像的相機的參數，將步驟1輸入的深度信息D轉換為三維點云數據，并計算每個三維點與其鄰域三維點所在平面的法向量，得到法向圖N；

(5)對步驟2得到的圖像超像素分割結果的每個區域r_i(i＝1～n)提取特征f_i＝[L(r_i),a(r_i),b(r_i),μd(r_i)]，其中L(r_i)為區域r_i內所有像素L的均值，a(r_i)為區域r_i內所有像素a的均值，b(r_i)為區域r_i內所有像素b的均值，d(r_i)為變換后的深度圖Dmap中區域r_i的深度均值,μ的值由用戶設定；

(6)對步驟2得到的區域集合，計算其中任意一對區域r_i和r_j(i≠j)之間的對比度C(r_i,r_j)，其描述如下：