[發(fā)明專利]一種基于RGB-D約束的雙目圖像目標(biāo)分割方法和裝置

有效

• 申請?zhí)枺?/td>: 201810332846.3
• 申請日: 2018-04-13
• 公開（公告）號: CN108830860B
• 公開（公告）日: 2022-03-25
• 發(fā)明（設(shè)計）人: 齊飛;朱暉;石光明;王鵬飛
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06K9/62;G06V10/74;G06V10/762
• 代理公司: 北京眾達(dá)德權(quán)知識產(chǎn)權(quán)代理有限公司 11570
• 代理人: 劉杰

1.一種基于RGB-D約束的雙目圖像目標(biāo)分割方法，其特征在于，所述方法包括：

獲得雙目圖像的視差信息；

獲得所述雙目圖像的顏色數(shù)據(jù)模型；

根據(jù)所述視差信息獲得視差圖的深度數(shù)據(jù)模型；

計算所述雙目圖像相鄰像素點的相似性；

計算色彩空間兩個相鄰像素點的第一相似性；

根據(jù)所述視差圖進(jìn)行特征變換，且在特征空間計算視差空間兩個相鄰像素點的第二相似性；

根據(jù)所述第一相似性和第二相似性，計算RGB-D約束的兩個相鄰像素點的第三相似性；

獲得所述雙目圖像目標(biāo)分割的圖模型與能量函數(shù)表達(dá)式；

根據(jù)所述雙目圖像構(gòu)建網(wǎng)絡(luò)流圖；

將所述顏色數(shù)據(jù)模型與深度數(shù)據(jù)模型的加權(quán)之和設(shè)定為所述網(wǎng)絡(luò)流圖的第一邊權(quán)值；

將所述第三相似性設(shè)定為所述網(wǎng)絡(luò)流圖的第二邊權(quán)值；

根據(jù)所述第一邊權(quán)值與第二邊權(quán)值獲得所述網(wǎng)絡(luò)流圖的能量函數(shù)數(shù)學(xué)表達(dá)式；

所述網(wǎng)絡(luò)流圖的能量函數(shù)數(shù)學(xué)表達(dá)式為，

其中，函數(shù)E(x)表示圖模型的能量函數(shù)，R(p_i,x_i)是一次項表示圖像像素點p_i與前景和背景先驗?zāi)Ｐ偷南嗨菩裕丛撓袼攸cp_i像x_i素點被分配為前景還是背景的概率，為所述網(wǎng)絡(luò)流圖的第一邊權(quán)值；B(p_i,p_j)表示所述雙目圖像各個圖像中的像素點與它的鄰域像素點的相似性，為所述網(wǎng)絡(luò)流圖的第二邊權(quán)值，N_B是一個集合，該集合中的每個元素表示雙目圖像中的一個像素點與它相鄰像素點的像素點對；表示左右視圖間對應(yīng)像素點的匹配關(guān)系，其可以保證兩個視圖中的對應(yīng)像素點有著相同的分類結(jié)果，具體數(shù)學(xué)表達(dá)式為，

在公式C(·)中，的定義為：其中，表示左視圖和右視圖中對應(yīng)點的匹配關(guān)系；表示匹配正確的概率，所述匹配正確的概率取決于對應(yīng)點服從的分布函數(shù)；表示像素點對和的相似性，其數(shù)學(xué)表達(dá)式下：其中，表示左視圖中的像素點的色彩值，表示右視圖中的像素點的色彩值公式C(·)的另一項的計算方法與的計算方法相同，其僅存在變量間的替換；N_C是一個集合，所述集合中的每個元素表示所述雙目圖像中的對應(yīng)像素點對；參數(shù)λ_B、λ_C是用來平衡上述三種邊在分割時所起的作用以得到較好的結(jié)果；根據(jù)計算所述能量函數(shù)的最小解獲得網(wǎng)絡(luò)流圖的分割結(jié)果，其中，所述網(wǎng)絡(luò)流圖的分割結(jié)果即所述雙目圖像的目標(biāo)分割結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，獲得雙目圖像的視差信息，還包括：

將輸入的雙目圖像進(jìn)行立體匹配，獲得所述雙目圖像匹配的代價函數(shù)；

根據(jù)圖割法計算所述代價函數(shù)的最小解，估計視差圖。

3.如權(quán)利要求1所述的方法，其特征在于，獲得所述雙目圖像的顏色數(shù)據(jù)模型，還包括：

根據(jù)所述雙目圖像的顏色信息，利用聚類算法將所述雙目圖像中的像素分為若干類第一像素集；

根據(jù)所述若干類第一像素集計算每類像素集顏色信息的均值、方差獲得第一混合高斯函數(shù)模型；

根據(jù)第一混合高斯函數(shù)的表達(dá)式計算每個像素點的第一高斯分量，獲得顏色信息的高斯概率密度函數(shù)；

根據(jù)所述顏色信息的高斯概率密度函數(shù)獲得每個像素點屬于前景和背景的第一概率。

4.如權(quán)利要求1所述的方法，其特征在于，根據(jù)所述視差信息獲得視差圖的深度數(shù)據(jù)模型，還包括：

根據(jù)所述視差信息，利用聚類算法將所述雙目圖像中的像素分為若干類第二像素集；

根據(jù)所述若干類第二像素集計算每類像素集視差信息的均值、方差獲得第二混合高斯函數(shù)模型；

根據(jù)第二混合高斯函數(shù)的表達(dá)式計算每個像素點的第二高斯分量，獲得深度信息的高斯概率密度函數(shù)；

根據(jù)所述深度信息的高斯概率密度函數(shù)獲得每個像素點屬于前景和背景的第二概率。