[發(fā)明專利]一種基于稠密視差圖的立體圖像同步分割方法

有效

• 申請?zhí)枺?/td>: 201410328103.0
• 申請日: 2014-07-10
• 公開（公告）號(hào): CN104091336B
• 公開（公告）日: 2017-05-17
• 發(fā)明（設(shè)計(jì)）人: 馬偉;楊璐維;段立娟
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06T7/194
• 分類號(hào): G06T7/194
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司11203
• 代理人: 沈波

1.一種基于稠密視差圖的立體圖像同步分割方法，其特征在于包括以下步驟：

步驟一，匹配立體圖像；

讀入一對立體圖像I＝{I^l，I^r}，I^l與I^r分別表示左、右圖像；利用立體匹配算法計(jì)算得到左、右圖像對應(yīng)的視差圖，分別用D^l與D^r表示；

步驟二，添加前、背景線索；

通過所設(shè)計(jì)的界面在其中任意一張圖像中指定部分前、背景；利用鼠標(biāo)、觸摸屏或者手寫筆等輸入設(shè)備，通過在圖像上勾畫不同顏色的線條指定部分前、背景像素；

步驟三，建立前、背景的顏色、視差先驗(yàn)?zāi)Ｐ停?/p>

用F表示用戶指定的前景像素集合，B表示用戶指定的背景像素集合；前、背景的顏色、視差的先驗(yàn)?zāi)Ｐ筒捎枚鄠€(gè)類簇的形式表達(dá)，通過擬合或統(tǒng)計(jì)對應(yīng)像素集合的顏色得到：利用K-means算法對F與B中的像素對應(yīng)的顏色值分別進(jìn)行聚類，得到N_c個(gè)前景顏色類簇 M_c個(gè)背景顏色類簇分別表示背景的顏色分布統(tǒng)計(jì)模型；同時(shí)，用同樣的方法，對F和B中的像素對應(yīng)的視差值分別進(jìn)行聚類，得到N_d個(gè)前景視差類簇 M_d個(gè)背景視差類簇分別表示前、背景的視差分布統(tǒng)計(jì)模型；N_c＝M_c＝N_d＝M_d＝64；

步驟四，定義能量函數(shù)；

立體圖像I＝{I^l,I^r}，包含左圖I^l和右圖I^r，可以表示成一個(gè)無向圖G＝<ν,ε>；其中，ν為圖G中的節(jié)點(diǎn)集合，ε為邊的集合；圖G中的每個(gè)頂點(diǎn)對應(yīng)立體圖像I中的一個(gè)像素；圖像中除集合F和集合B中的像素外，其余像素設(shè)定屬于集合U；交互式立體圖像同步分割是在輸入的筆畫的約束下，為U中的每個(gè)像素p_i賦予一個(gè)標(biāo)簽x_i；x_i∈{1,0}，分別表示前、背景；圖G中的邊包含圖像內(nèi)相鄰像素的連接邊，以及視差圖決定的立體圖像對應(yīng)點(diǎn)之間的連接邊；

把求解上述立體圖像同步問題定義為以下目標(biāo)能量函數(shù)的最優(yōu)化問題：

其中，f_Unary(p_i,x_i)是一元項(xiàng)，表示像素p_i的顏色、視差與前、背景顏色和視差統(tǒng)計(jì)模型的相似性，也叫做數(shù)據(jù)項(xiàng)；相似性越高，f_Unary值越大；f_Intra(p_i,p_j)是圖像內(nèi)二元項(xiàng)，反映了I中所有像素與四鄰域或八其鄰域之間的差異,差異越大，則該項(xiàng)越小；N_Intra表示包含左右圖中所有像素點(diǎn)的鄰接關(guān)系的集合；根據(jù)圖割算法的原理，此時(shí)鄰域像素之間傾向于取 不同的標(biāo)簽；是圖像間的二元項(xiàng)，定義了對應(yīng)點(diǎn)的匹配的結(jié)果，匹配度越高，則該項(xiàng)越大；C_Inter表示含有左右圖像素點(diǎn)對應(yīng)關(guān)系的集合；λ_Unary,λ_Intra,λ_Inter是調(diào)節(jié)各能量項(xiàng)之間的權(quán)值；

(1)定義一元約束項(xiàng)

一元約束項(xiàng)包括顏色一元項(xiàng)和視差一元項(xiàng)兩部分，定義如下:

f_Unary(p_i,x_i)＝λ_c(1-P_c(x_i|c_i))+λ_d(1-P_d(x|d_i))(2)

其中，P_c(x_i|c_i)表示給定像素p_i的顏色c_i，x_i取前景或背景標(biāo)簽的概率值；考慮到概率越大，能量函數(shù)應(yīng)當(dāng)越小，所以取1-P_c表示顏色一元項(xiàng)；同樣地，P_c(x_i|d_i)表示給定像素p_i的視差值d_i，x_i取前景或背景標(biāo)簽的概率值；取1-P_d表示視差一元項(xiàng)；λ_c、λ_d分別代表顏色與視差的影響權(quán)值，λ_c+λ_d＝1；

以類簇形式表示前、背景的顏色和視差模型，包括N_c個(gè)前景顏色類簇M_c個(gè)背景顏色類簇N_d個(gè)前景視差類簇M_d個(gè)背景視差類簇給出一元項(xiàng)的計(jì)算方法；

顏色一元項(xiàng)的計(jì)算方式如下：將每一個(gè)未標(biāo)記像素的顏色與前景和背景顏色的類簇進(jìn)行對比，找到其與這些類簇中心最小的距離，這個(gè)距離用以描述像素顏色與前、背景顏色的相似度；離前景或背景顏色距離越小，則顏色越相近，根據(jù)圖割理論，該像素越傾向于選擇前景或背景標(biāo)簽；顏色一元項(xiàng)的數(shù)學(xué)形式描述為：

其中，分別表示像素p_i的顏色c_i到前景和背景顏色的各類簇中心的最小距離，其表達(dá)式分別為：

視差一元項(xiàng)與顏色一元項(xiàng)的計(jì)算過程相同；

(2)定義圖像內(nèi)二元約束項(xiàng)

圖像內(nèi)二元約束項(xiàng)f_Intra(p_i,p_j)包含兩項(xiàng)，分別描述像素點(diǎn)周圍顏色變化和視差變化，即顏色梯度和視差梯度，定義如下：

f_Intra(p_i,p_j)＝f_c(p_i,p_j)f_d(p_i,p_j)(4)

其中，f_c(p_i,p_j)表示相鄰像素間顏色的相似性，顏色越相近其值越大，根據(jù)圖割算法的原理， 邊界穿過二者的幾率就較小；f_d(p_i,p_j)表示像素p_i相對于鄰接像素點(diǎn)p_j視差的相似性；二者視差越相近，其值越大，根據(jù)圖割算法的原理，邊界穿過二者的幾率就較小；兩項(xiàng)的定義形式如下：

實(shí)際上，視差計(jì)算存在誤差，直接使用會(huì)將誤差引入分割過程；解決方法是用局部區(qū)域的視差變化替代兩兩像素之間的視差變化；令S_j表示p_i所在區(qū)域；區(qū)域S_j內(nèi)的視差變化情況采用方差var(S_j)表示；在此情況下，式(6)變?yōu)椋?/p>

其中，S_j＝A(p_i)，函數(shù)A(p_i)表示像素p_i所在的區(qū)域；圖像區(qū)域可以采用過分割方法得到，也可以通過將圖片事先分割成小的正方形區(qū)域集合；

(3)定義圖像間二元約束項(xiàng)

圖像間二元項(xiàng)約束立體圖像之間的對應(yīng)像素取同樣的標(biāo)簽，定義如下：

其中，C表示立體圖像中之間作為對應(yīng)點(diǎn)的可能性，是非對稱函數(shù)：

是基于視差圖確定的之間作為對應(yīng)點(diǎn)的概率分布函數(shù)；函數(shù)表示是左圖像素在右圖上的對應(yīng)點(diǎn)，對應(yīng)關(guān)系根據(jù)視差圖決定；采用Delta函數(shù)或一致的Delta函數(shù)，定義方式如下；Delta函數(shù)只使用單幅圖對應(yīng)的視差圖；令{d^l}為左圖視差集合，Delta函數(shù)定義方式為：

其中，為左圖中像素與右圖中對應(yīng)點(diǎn)的視差；令{d^r}為右圖視差集合，一致的Delta函數(shù)為:

其中，為右圖中像素與左圖對應(yīng)點(diǎn)的視差；

式(9)中表示與之間的顏色相似性，在視差完全準(zhǔn)確的情況下，但目前的視差計(jì)算方法存在誤差，為消除誤差采取如下形式：

其中，為左圖像素的顏色值，是在右圖對應(yīng)點(diǎn)的顏色值；

步驟五，求解能量函數(shù)最小值；

采用圖割算法，通過最優(yōu)化本發(fā)明所定義的能量函數(shù)，即式(1)，得到最優(yōu)的標(biāo)記結(jié)果，即分割結(jié)果；如對分割結(jié)果不滿意，返回步驟二，繼續(xù)添加前、背景線索；每添加一筆，將觸發(fā)一次完整的分割過程。

2.根據(jù)權(quán)利要求1所述的一種基于稠密視差圖的立體圖像同步分割方法，其特征在于，步驟三所述的前、背景的顏色、視差先驗(yàn)?zāi)Ｐ瓦€可采用GMM、直方圖形式表達(dá)。