[發明專利]一種基于雙向加權聚合的實時立體匹配方法

有效

• 申請號: 201010623912.6
• 申請日: 2010-12-31
• 公開（公告）號: CN102096919A
• 公開（公告）日: 2011-06-15
• 發明（設計）人: 趙沁平;周忠;史英杰;常雪楓;吳威
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 成金玉;李新華

1.一種基于雙向加權聚合的實時立體匹配方法，其特征在于實現步驟如下：

(1)根據匹配代價函數計算圖像對中各個像素點的匹配代價函數值，計算公式為：

C(p,d)=Σs∈{r,g,b}|Is(p)-I‾s(p‾)|,]]>

其中，d為左右圖像的視差，p，為在視差為d的情況下左右圖像中的對應點，I_r(p)，I_g(p)，I_b(p)分別表示左圖像在點p處的r，g，b值，分別表示右圖像在點處的r，g，b值，匹配代價函數即為左右圖像中對應點的r，g，b值之差的絕對值的和；

對每一個視差d_i，dmin≤d_i≤dmax(d_max，d_min為整幅圖像的視差范圍)，對圖像中每一點均計算C(p，d_i)；

(2)對于左圖像中的每一個點c，將其周圍邊長為W₁的正方形作為支持窗口，該正方形以c點為中心，W₁為預設的支持窗口大小，支持窗口邊長均設為33，除c點外支持窗口內所有點叫做c的支持點，用p表示左圖像中的支持點；對于右圖像中的每一個點即點c在視差為d時的對應點，將其周圍邊長為W₁的正方形作為支持窗口，該正方形以點為中心，除點外支持窗口內所有點叫做的支持點，用表示右圖像中的支持點；在視差為d的情況下，對每一個點c，將其支持窗口內所有匹配代價函數值C(p，d)先后進行行方向和列方向的加權聚合，具體過程如下：

A.行方向的加權聚合

先將支持窗口內所有點向該行中心點加權聚合，每行中心點設為c′，行方向加權聚合過程中權值W_h(c′，p)的計算公式為：

Wh(c′,p)=w(c′,p)·w(c′‾,p‾),]]>

其中，w(c′,p)=T(exp(-dis(c′,p)K))exp(-dis(c′,p)K),]]>

w(c′‾,p‾)=T(exp(-dis(c′‾,p‾)K))exp(-dis(c′‾,p‾)K),]]>

dis(p1,p2)=Σm∈{r,g,b}(Im(p1)-Im(p2))2,]]>

T(x)=0,0<x<Tw10.5,Tw1<x<Tw21,Tw2<x,]]>

其中為在視差為d時c′的對應點，dis(p₁，p₂)為p₁，p₂兩個點的顏色相似度，即顏色空間中的距離，T(x)為可信度評估函數，用于對聚合過程中的權值做一個評估，權值越大，可信度越高；權值越小，可信度越低，T_w1，T_w2為預設參數，分別取0.3和0.6；

行方向加權聚合的公式為：

CH(c′,d)=Σp∈Hc′Wh(c′,p)C(p,d)Σp∈Hc′Wh(c′,p),]]>

其中，表示點c′在支持窗口內所在行的所有點組成的集合；

對于每一個視差d，為圖像中所有點進行一次上述的行方向的加權聚合，將這個聚合的結果，作為下一步列方向加權聚合的輸入；

B.列方向的加權聚合

對行方向加權聚合的結果進行列方向的加權聚合，列方向加權聚合過程中權值W_v(c，c′)的計算公式為：

Wv(c,c′)=w(c,c′)w(c‾,c′‾),]]>

其中，w(c,c′)=T(exp(-dis(c,c′)K))exp(-dis(c,c′)K),]]>

w(c‾,c′‾)=T(exp(-dis(c‾,c′‾)K))exp(-dis(c‾,c′‾)K),]]>

T(x)和dis(p₁，p₂)與行方向聚合過程中的含義及計算方法相同；

列方向加權聚合的公式為：

C′W(c,d)=Σc′∈VcWv(c,c′)CH(c′,d)Σc′∈VcWv(c,c′),]]>

其中，V_c表示點c在支持窗口內所在列的所有點組成的集合，C_H(c′，d)為行方向加權聚合的結果；

對每一個視差d_i，dmin≤d_i≤dmax，對圖像中的每一點先后執行上述行方向、列方向的加權聚合過程，最終求得C′_w(c，d_i)；

(3)通過運用步驟(2)的所有列方向的加權聚合結果C′_w(c，d_i)，分別對圖像的每一行進行視差選擇，所述視差選擇采用動態規劃與貪心策略相結合的選擇策略，具體過程如下：

對一行中橫坐標為0的點X₀，即最左邊的點，定義函數F(x₀，d_i)＝C′_w(x₀，d_i)；

對于橫坐標為1的點X₁，

其中，γ為預設參數，取值為3.27，d_WTA為貪心策略選擇出的X₀點的視差，也就是使C′_w(x₀，d_i)取得最小值的d_i；

對于橫坐標為2的點X₂，

d_WTA為貪心策略選擇出的X₁點的視差，也就是使C′_w(x₁，d_i)取得最小值的d_i；

以此類推，對于橫坐標為w的點X_w，w為圖像的寬度，X_w為一行中最右邊的點，

選擇使F(x_w，d_i)取得最小的d_i為X_w的視差，此時滿足公式中的d作為X_w-1的視差d_w-1；

帶入上一層公式中：

滿足公式的d即為X_w-2的視差d_w-2。

以此類推，從右至左選擇視差，最終求得X₀的視差，得到整行每個像素點的視差值；

通過對每一行進行上述視差選擇，最終得到整幅圖像的視差圖；

(4)對步驟(3)得到的視差圖通過進行噪聲過濾，過程如下：當某點c的上、下、左、右四個點的視差均為d時，則將c點的視差置為d；

(5)由步驟(4)得到的視差圖以及視差范圍d_max，d_min求出深度圖，過程如下：某點c的深度其中d_c為點c的視差，d_max，d_min為整幅圖像的視差范圍，點c的視差范圍為[0，255]。