[發(fā)明專利]基于極線校正的亞像素級相位立體匹配方法

有效

• 申請?zhí)枺?/td>: 201410675250.5
• 申請日: 2014-11-21
• 公開（公告）號(hào): CN104331897A
• 公開（公告）日: 2015-02-04
• 發(fā)明（設(shè)計(jì)）人: 耿磊;郎建業(yè);肖志濤;張芳;吳駿;李月龍;劉洋;葉琨;蘇靜靜
• 申請（專利權(quán)）人: 天津工業(yè)大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00
• 代理公司: 天津中環(huán)專利商標(biāo)代理有限公司 12105
• 代理人: 莫琪

1.一種基于極線校正的亞像素級相位立體匹配方法，包括下列步驟：?

(1)標(biāo)定攝像機(jī)內(nèi)外參數(shù)；?

(2)極線校正得到具有標(biāo)準(zhǔn)極線幾何結(jié)構(gòu)的立體像對；?

(3)相位插值得到極線校正后的相位圖；?

(4)亞像素級相位立體匹配得到立體像對的對應(yīng)匹配點(diǎn)，進(jìn)而獲取視差圖。?

2.根據(jù)權(quán)利要求1所述的一種基于極線校正的亞像素級相位立體匹配方法，其特征在于，步驟(1)中，建立面陣攝像機(jī)的非線性成像幾何模型，基于兩步法思想對攝像機(jī)進(jìn)行標(biāo)定，得到內(nèi)部參數(shù)：攝像機(jī)的光學(xué)和幾何參數(shù)，以及外部參數(shù)：攝像機(jī)坐標(biāo)系和世界坐標(biāo)系之間的位姿關(guān)系。?

3.根據(jù)權(quán)利要求1所述的一種基于極線校正的亞像素級相位立體匹配方法，其特征在于，步驟(2)中，為了減小匹配的復(fù)雜度，提高匹配的速度和精度，進(jìn)行極線校正，極線校正就是經(jīng)過一系列變換把雙目立體視覺幾何結(jié)構(gòu)校正為平視雙目標(biāo)準(zhǔn)幾何結(jié)構(gòu)，即左右攝像機(jī)的成像平面在同一個(gè)平面上且是垂直對齊的；校正后圖像對成像坐標(biāo)系只有平移，所以外極線都平行，任何一對匹配特征點(diǎn)的列坐標(biāo)差值即為視差，表示物體的深度信息；在平視雙目標(biāo)準(zhǔn)幾何結(jié)構(gòu)下，重構(gòu)空間點(diǎn)深度信息較簡單。?

4.根據(jù)權(quán)利要求1所述的一種基于極線校正的亞像素級相位立體匹配方法，其特征在于，步驟(3)中，經(jīng)過極線校正后相位圖上點(diǎn)的坐標(biāo)在原始圖像上的對應(yīng)坐標(biāo)點(diǎn)一般為像素坐標(biāo)，可以通過雙線性內(nèi)插值法計(jì)算出極線校正后的相位圖；?

假設(shè)變換后像素的中心位于一個(gè)正方形中，此正方形的四個(gè)頂點(diǎn)就是與此像素相鄰的四個(gè)像素的中心點(diǎn)，若極線校正后相位圖上任一點(diǎn)P的待求相位為其對應(yīng)的極線校正前原始相位圖上一點(diǎn)為P₀(x₀,y₀)，取P₀臨近的4個(gè)像素點(diǎn)：?

P₀₀(x₀₀,y₀₀)，P₀₁(x₀₁,y₀₁)_，P₁₀(x₁₀,y₁₀)，P₁₁(x₁₁,y₁₁)；對應(yīng)的相位值分別為：?

和

所以用相應(yīng)的的權(quán)重配合這四個(gè)灰度值進(jìn)行插值運(yùn)算,權(quán)重值由P₀與周圍4點(diǎn)的距離確定；?

首先，分別計(jì)算轉(zhuǎn)換后的坐標(biāo)到四個(gè)相鄰像素中心點(diǎn)的垂直方向和水平方向距離，這些計(jì)算出的距離值在0到1之間；?

然后，根據(jù)距離值計(jì)算出不同灰度值所占權(quán)重后利用雙線性內(nèi)插法獲得新相位圖上點(diǎn)的相位值：?

其中，a，b為到輸入圖像中鄰近的像素中心的距離。?

5.根據(jù)權(quán)利要求1所述的一種基于極線校正的亞像素級相位立體匹配方法，其特征在于，步驟(4)中，在極線校正后的新相位圖像對中，左相位圖任一待匹配點(diǎn)的對應(yīng)匹配點(diǎn)的搜索可?簡化為在外極線上尋找最相關(guān)點(diǎn)；相關(guān)點(diǎn)的搜索在極線約束、唯一性約束、相位單調(diào)約束、順序一致性約束的基礎(chǔ)上，通過計(jì)算待匹配點(diǎn)n鄰域相位模板與右相位圖像間的相似度來實(shí)現(xiàn)：?

首先根據(jù)左攝像機(jī)相位圖中待匹配點(diǎn)為中心的n鄰域相位模板，在右攝像機(jī)相位圖的中心點(diǎn)橫坐標(biāo)相同的直線上搜索與左圖該相位模板相似度最高的區(qū)域作為匹配區(qū)域，則該區(qū)域的中心點(diǎn)為左攝像機(jī)相位圖中待匹配點(diǎn)的初始匹配點(diǎn)，模板由一幅圖像t(r,c)以及相應(yīng)的待匹配點(diǎn)鄰域T指定；?

然后基于模板范圍內(nèi)灰度值計(jì)算一個(gè)標(biāo)量值作為相似度量，相似度量值越小，模板與圖像之間的相關(guān)性越大；相似度量方法采用計(jì)算模板與圖像之間差值的絕對值的總和(SAD)，等式為：?

在式(2)中，n是模板連通區(qū)域中點(diǎn)的數(shù)量，即n＝|T|，f(r+u,c+v)是模板連通區(qū)域移到圖像當(dāng)前位置時(shí)連通區(qū)域中的灰度值；?

在上述匹配點(diǎn)搜索過程中，必須對右攝像機(jī)相位圖橫坐標(biāo)相同的外極線上的平移位置依次計(jì)算出相似度量值，為了快速找到匹配點(diǎn)，設(shè)置一個(gè)自適應(yīng)閾值ts作為相似度量值上限，對是否繼續(xù)計(jì)算相似度量值進(jìn)行判定，減少部分平移位置相似度量值的計(jì)算，閾值判定公式如下：?

由于相似度量值是求鄰域內(nèi)各點(diǎn)差值絕對值和，假設(shè)已經(jīng)計(jì)算得到等式(3)中前j項(xiàng)的總和sad_j′(r,c)，得到等式：?

因此在sad_j′(r,c)3nt_s的情況下停止計(jì)算，計(jì)算下一個(gè)平移位置的相似度量值；在sad_j′(r,c)<nt_s的情況下，選擇ts作為當(dāng)前閾值，自適應(yīng)閾值ts的使用減少了相似度量值的計(jì)算量；?

為了得到亞像素精度級的匹配點(diǎn)位置，采用基于最小二乘法的二次曲面擬合方法，將初始匹配點(diǎn)附近3×3鄰域內(nèi)的相似度量值擬合為一個(gè)二次曲面，擬合曲面的峰值坐標(biāo)即為最優(yōu)匹配位置坐標(biāo)；然后，根據(jù)鄰近點(diǎn)相位進(jìn)行線性插值，得到與待匹配點(diǎn)相位相同的右攝像機(jī)匹配點(diǎn)坐標(biāo)，完成相位立體匹配；?

選擇如下擬合函數(shù):?

F(G,X)＝ax²+bxy+cy²+dx+ey+f＝0?????????(5)?

其中，G＝[a,b,c,d,e,f]^T，X＝[x²,xy,y²,x,y,1]^T，F(xiàn)(G,X_i)為點(diǎn)(x_i,y_i)到曲線F(G,X)＝0的“代數(shù)距離”，采用最小二乘法求解方程，即可解出擬合函數(shù)的系數(shù)；?

為此，在式(5)中分別對x，y求偏導(dǎo)，并使偏導(dǎo)為0，即：?

由式(6)可解得：?

式中的x，y即為所求的平移量且具有亞像級的分辨率。?