[發(fā)明專利]一種基于雙目圖像匹配獲取目標(biāo)深度信息的方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710323708.4
• 申請(qǐng)日: 2017-05-09
• 公開(kāi)（公告）號(hào): CN107194931A
• 公開(kāi)（公告）日: 2017-09-22
• 發(fā)明（設(shè)計(jì)）人: 張雪濤;左長(zhǎng)樂(lè);王飛;李中常;孫繼發(fā);姜沛林;楊奔
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06T7/10
• 分類號(hào): G06T7/10;G06T7/33;G06T7/55
• 代理公司: 西安智大知識(shí)產(chǎn)權(quán)代理事務(wù)所61215
• 代理人: 何會(huì)俠

1.一種基于雙目圖像匹配獲取目標(biāo)深度信息的方法，其特征在于：該方法包括如下步驟：

(1)獲取雙目圖像左圖和右圖兩張圖像，如果圖像為彩色圖則轉(zhuǎn)為灰度圖，對(duì)灰度圖進(jìn)行高斯濾波處理；

(2)求取雙目圖像的局部代價(jià)信息，包括橫向和縱向的梯度代價(jià)信息、左右圖像中每個(gè)像素點(diǎn)的Hamming距離代價(jià)信息，然后對(duì)局部代價(jià)信息進(jìn)行加權(quán)相加處理；

(3)對(duì)左右圖像進(jìn)行基于SLIC算法的超像素分割，獲得超像素分割信息；

(4)基于以上獲得的雙目圖像的局部代價(jià)信息和超像素分割信息，對(duì)每個(gè)超像素內(nèi)的局部代價(jià)信息相加然后求均值獲得基于超像素的代價(jià)信息；

(5)將基于超像素的代價(jià)信息輸入到自適應(yīng)重啟隨機(jī)步算法中，進(jìn)行迭代優(yōu)化，獲得優(yōu)化后的基于超像素的代價(jià)信息；

(6)將優(yōu)化后的基于超像素的代價(jià)信息和上述步驟(2)中的局部代價(jià)信息進(jìn)行加權(quán)相加，獲取最小代價(jià)對(duì)應(yīng)的視差值，根據(jù)視差值與深度的比例關(guān)系獲得深度值。

2.根據(jù)權(quán)利要求1所述的基于雙目圖像匹配獲取目標(biāo)深度信息的方法，其特征在于：步驟(5)中獲得優(yōu)化后的基于超像素的代價(jià)信息的具體步驟如下：

1)設(shè)置迭代次數(shù)T，求歸一化權(quán)重矩陣，

其中，w_ij表示超像素s_i和s_j之間的權(quán)重，De表示超像素s_i和s_j之間的歐氏距離，De＝α_e×sqrt((x_si-x_sj)²+(y_si-y_sj)²)，τ_e、σ_e、α_e為設(shè)置的比例系數(shù)，I(s_i)和I(s_j)表示超像素s_i和s_j和平均灰度值，x_siy_six_sjy_sj分別表示超像素s_i和s_j的中心X和Y方向的坐標(biāo)；將w_ij組成的矩陣按行進(jìn)行歸一化獲得歸一化權(quán)重矩陣

2)進(jìn)行左右一致性檢測(cè)，確認(rèn)超像素s是否為遮擋點(diǎn)，用O_t(s)來(lái)表示，若是遮擋點(diǎn)O_t(s)值為0，若不是遮擋點(diǎn)值為1，然后將所有超像素的遮擋情況放入矩陣v_t中，則v_t＝[O_t(s)]_k×1，k為超像素個(gè)數(shù)，⊙表示元素對(duì)應(yīng)相乘，是存儲(chǔ)所有超像素視差為d時(shí)基于超像素的匹配代價(jià)；

3)基于Canny邊緣的保真度處理，d_i′表示超像素s_i平均視差值，N(i)表示和超像素s_i相鄰的所有超像素，這里的相鄰不僅要求圖像上相鄰還要求這兩個(gè)超像素之間不同時(shí)存在Canny邊緣和SLIC分割邊緣，為超像素s_j最優(yōu)視差，O_t(s_j)表示超像素s_j的遮擋情況，

τ_Ψ為閾值參數(shù)，σ_Ψ為比例系數(shù)，Ψ_t(d,d′)表示第t次迭代視差為d時(shí)的保真度函數(shù)，d′為所有超像素的平均視差值矩陣；

4)迭代函數(shù)為其中，為基于超像素的匹配代價(jià)的初始值c和λ為比例系數(shù)，表示第t次迭代視差為d時(shí)的保真度函數(shù)，表示經(jīng)過(guò)t次迭代后生成的基于超像素的匹配代價(jià)矩陣；在每次迭代后都要進(jìn)行左右一致性檢測(cè)和基于Canny邊緣的保真度處理操作；直到迭代次數(shù)t達(dá)到設(shè)定值T；得到最終的即為優(yōu)化后的基于超像素的代價(jià)信息。

3.實(shí)現(xiàn)權(quán)利要求2所述方法的基于雙目圖像匹配獲取目標(biāo)深度信息的系統(tǒng)，其特征在于：該系統(tǒng)包括：

(1)圖像預(yù)處理子系統(tǒng)，處理內(nèi)容包括：對(duì)輸入的雙目圖像左圖和右圖進(jìn)行處理，兩張圖像如果為彩色圖像則轉(zhuǎn)為灰度圖，然后對(duì)灰度圖進(jìn)行高斯濾波處理；

(2)局部信息處理子系統(tǒng)，處理內(nèi)容包括：求取雙目圖像橫向和縱向的梯度代價(jià)信息、左右圖像中每個(gè)像素點(diǎn)的Hamming距離代價(jià)信息，然后對(duì)局部代價(jià)信息進(jìn)行加權(quán)相加處理；

(3)超像素分割子系統(tǒng)，處理內(nèi)容包括：分別對(duì)已轉(zhuǎn)換為灰度圖像的左右圖片進(jìn)行SLIC超像素分割，獲得超像素分割信息；

(4)信息融合子系統(tǒng)，處理內(nèi)容包括：基于以上獲得的雙目圖像的局部代價(jià)信息和超像素分割信息，對(duì)每個(gè)超像素內(nèi)的局部代價(jià)信息相加然后求均值獲得基于超像素的代價(jià)信息；

(5)自適應(yīng)重啟隨機(jī)步優(yōu)化子系統(tǒng)，處理內(nèi)容包括：1)設(shè)置迭代次數(shù)T，求歸一化權(quán)重矩陣，其中，w_ij表示超像素s_i和s_j之間的權(quán)重，De表示超像素s_i和s_j之間的歐氏距離，De＝α_e×sqrt((x_si-x_sj)²+(y_si-y_sj)²)，τ_e、σ_e、α_e為設(shè)置的比例系數(shù)，I(s_i)和I(s_j)表示超像素s_i和s_j和平均灰度值，x_siy_six_sjy_sj分別表示超像素s_i和s_j的中心X和Y方向的坐標(biāo)；將w_ij組成的矩陣按行進(jìn)行歸一化獲得歸一化權(quán)重矩陣2)進(jìn)行左右一致性檢測(cè)，確認(rèn)超像素s是否為遮擋點(diǎn)，用O_t(s)來(lái)表示，若是遮擋點(diǎn)O_t(s)值為0，若不是遮擋點(diǎn)值為1，然后將所有超像素的遮擋情況放入矩陣v_t中，則v_t＝[O_t(s)]_k×1，k為超像素個(gè)數(shù)，⊙表示元素對(duì)應(yīng)相乘，是存儲(chǔ)所有超像素視差為d時(shí)基于超像素的匹配代價(jià)；3)基于Canny邊緣的保真度處理，d_i′表示超像素s_i平均視差值，N(i)表示和超像素s_i相鄰的所有超像素，這里的相鄰不僅要求圖像上相鄰還要求這兩個(gè)超像素之間不同時(shí)存在Canny邊緣和SLIC分割邊緣，為超像素s_j最優(yōu)視差，O_t(s_j)表示超像素s_j的遮擋情況，τ_Ψ為閾值參數(shù)，σ_Ψ為比例系數(shù)，Ψ_t(d,d′)表示第t次迭代視差為d時(shí)的保真度函數(shù)，d′為所有超像素的平均視差值矩陣；4)迭代函數(shù)為其中，為基于超像素的匹配代價(jià)的初始值c和λ為比例系數(shù)，表示第t次迭代視差為d時(shí)的保真度函數(shù)，表示經(jīng)過(guò)t次迭代后生成的基于超像素的匹配代價(jià)矩陣；在每次迭代后都要進(jìn)行左右一致性檢測(cè)和基于Canny邊緣的保真度處理操作；直到迭代次數(shù)t達(dá)到設(shè)定值T，獲得優(yōu)化后的基于超像素的代價(jià)信息；

(6)深度輸出子系統(tǒng)：將優(yōu)化后的基于超像素的代價(jià)信息和局部代價(jià)信息進(jìn)行加權(quán)相加，獲取最小代價(jià)對(duì)應(yīng)的視差值，根據(jù)視差值與深度的比例關(guān)系獲得深度值然后進(jìn)行輸出。