[發明專利]基于全局塊優化的立體影像密集匹配方法

有效

• 申請號: 201710254284.0
• 申請日: 2017-04-18
• 公開（公告）號: CN107170000B
• 公開（公告）日: 2019-09-10
• 發明（設計）人: 黃旭;周剛;高其雙;胡堃;陸正武;蔡剛山;范超
• 申請（專利權）人: 武漢市工程科學技術研究院
• 主分類號: G06T7/32
• 分類號: G06T7/32;G06T7/33
• 代理公司: 武漢開元知識產權代理有限公司 42104
• 代理人: 潘杰;李滿

1.一種基于全局塊優化的立體影像密集匹配方法，其特征在于，它包括如下步驟：

步驟1：在立體影像中，選擇基準影像和參考影像，采用傳統的立體影像密集匹配方法，獲取初匹配的視差圖；

步驟2：采用SLIC超像素分割方法，將基準影像分割成一系列相互鄰接的塊，用S_i表示基準影像上的第i個塊；

步驟3：構建基于全局塊優化的立體影像密集匹配全局能量函數中的數據項Edata，數據項Edata用于描述基準影像的每個塊與參考影像上的同名塊之間的非相似性測度；

每個所述塊都用一個視差平面方程來描述，即：

d(p)=ai·pix‾+bi·piy‾+ci;p∈Si.]]>

其中，a_i、b_i、c_i表示塊S_i的視差平面方程參數；p＝(px,py)^T表示塊S_i內的一個像素；d表示像素所對應的視差；表示像素p的重心化坐標；

令表示塊S_i所對應的視差平面方程系數的改正數，表示基準影像上所有視差平面方程系數的改正數所組成的未知數向量，τ表示塊的數目，i∈1,...τ，可以將能量函數的數據項表示為：

Edata=x~TGdatax~-2HdataTx~]]>

式中，G_data表示數據項E_data的二次項系數矩陣；H_data表示數據項E_data的一次項的系數矩陣，E_data為基于全局塊優化的立體影像密集匹配的全局能量函數的數據項，T表示轉置符號，上述二次項系數矩陣G_data和一次項系數矩陣H_data的具體表達為：

G_data＝Diag(-g_data(S_i))；

Hdata=-hdataT(S1)-hdataT(S2)...-hdataT(Sτ)T;]]>

gdata(Si)=∂2r(a0,b0,c0|Si)∂a∂a∂2r(a0,b0,c0|Si)∂a∂b∂2r(a0,b0,c0|Si)∂a∂c∂2r(a0,b0,c0|Si)∂a∂b∂2r(a0,b0,c0|SSi)∂b∂b∂2r(a0,b0,c0|Si)∂b∂c∂2r(a0,b0,c0|Si)∂a∂c∂2r(a0,b0,c0|Si)∂b∂c∂2r(a0,b0,c0|Si)∂c∂c;]]>

hdata(Si)=-∂r(a0,b0,c0|Si)∂a-∂r(a0,b0,c0|Si)∂b-∂r(a0,b0,c0|Si)∂c;]]>

上式中，Diag表示對角線矩陣；g_data(S_i)、h_data(S_i)分別表示G_data、H_data中的對應S_i的塊矩陣；a、b、c表示視差平面方程系數；a₀、b₀、c₀表示視差平面方程系數的初值；r(a₀,b₀,c₀|S_i)表示塊S_i所對應的相關系數；u＝a,b or c表示函數r(a₀,b₀,c₀|S_i)對未知數u的一階偏微分；u₁＝a,b or c,u₂＝a,b or c表示函數r(a₀,b₀,c₀|S_i)對未知數u₁、u₂的二階偏微分；

步驟4：構建基于全局塊優化的立體影像密集匹配全局能量函數中的平滑項E_smooth，平滑項E_smooth用于保證相鄰塊之間連續平滑；

同樣令表示所有塊所對應的視差方面方程參數的改正數組成的未知數向量，表示第τ個視差平面方程系數的改正數所組成的未知數向量，可以將平滑項E_smooth表示為：

Esmooth=x~TGsx~-2HsTx~]]>

式中，G_s表示平滑項E_smooth的二次項系數矩陣，H_S表示平滑項E_smooth的一次項系數矩陣；

上述二次項系數矩陣G_s和一次項系數矩陣H_S可以分別表達為：

Gs=Σi=1τ(ΣSj∈N(Si)[Pn1(i,j)|E(Si,Sj)|Σt∈E(Si,Sj)gsr(Si,Sj,t)+Pn2(i,j)gsr(Si,Sj,ci)])]]>

Hs=Σi=1τ(ΣSj∈N(Si)[Pn1(i,j)|E(Si,Sj)|Σt∈E(Si,Sj)hsr(Si,Sj,t)T+Pn2(i,j)hsr(Si,Sj,ci)T])]]>

其中，τ表示塊的數目；S_j表示S_i的鄰接塊；N(S_i)表示塊S_i的相鄰塊集合；E(S_i,S_j)表示塊S_i內與塊S_j相鄰接的像素集合；|E(S_i,S_j)|表示集合E(S_i,S_j)內的像素數目；c_i＝(c_ix,c_iy)^T表示塊S_i的重心；Pn₁(i,j)表示根據塊S_i與塊S_j的鄰接關系計算出來的連接性懲罰系數；Pn₂(i,j)表示根據塊S_i與塊S_j的鄰接關系計算出來的共面性懲罰系數；t表示基準影像上的一個像素，該像素位于集合E(S_i,S_j)內，且是塊與塊之間鄰接處的像素；g_sr(S_i,S_j,t)表示塊S_i與塊S_j之間關于像素t的相關矩陣；h_sr(S_i,S_j,t)表示塊S_i與塊S_j之間一次項系數矩陣的分塊矩陣；

σ1(t,Si,Sj)=tix‾2tix‾·tiy‾tix‾tix‾·tiy‾tiy‾2tiy‾tix‾tiy‾1]]>

σ2(t,Si,Sj)=tjx‾2tjx‾·tjy‾tjx‾tjx‾·tjy‾tjy‾2tjy‾tjx‾tjy‾1]]> 2

σ3(t,Si,Sj)=-tix‾·tjx‾-tix‾·tjy‾-tix‾-tiy‾·tjx‾-tiy‾·tjy‾-tiy‾-tjx‾-tjy‾-1]]>

其中，σ₁(t,S_i,S_j)表示塊S_i與塊S_j之間關于像素t的二次項分塊矩陣，T為轉置符號；0_3×3表示3×3的零矩陣；表示像素t關于塊S_i的重心化坐標；表示像素t關于塊S_j的重心化坐標；

hsr(Si,Sj,t)=03×3T...hi(t,Si,Sj)T...hj(t,Si,Sj)T...03×3TT]]>

hi(t,Si,Sj)=(dj0(t)-di0(t))tix‾tiy‾1T]]>

hj(t,Si,Sj)=(di0(t)-dj0(t))tjx‾tjy‾1T]]>

其中，h_i(t,S_i,S_j)表示h_sr(S_i,S_j,t)內，關于S_i的分塊矩陣；h_j(t,S_i,S_j)表示h_sr(S_i,S_j,t)內，關于S_j的分塊矩陣；表示根據塊S_i的視差平面方程初值，計算出來的像素t的視差；表示根據塊S_j的視差平面方程初值，計算出來的像素t的視差；表示像素t關于塊S_i的重心化坐標；表示像素t關于塊S_j的重心化坐標；

步驟5：根據數據項E_data和平滑項E_smooth，構建基于全局塊優化的立體影像密集匹配的全局能量函數，其中，上述全局能量函數的極值最優解，即為立體影像密集匹配的結果；

定義D表示立體影像匹配的視差圖，E(D)表示基于全局塊優化的立體影像密集匹配的全局能量函數，那么，將上述全局能量函數定義為：

E(D)=Edata+Esmooth=x~T(Gdata+Gs)x~-2(HdataT+HsT)x~]]>

其中，E_data表示基于全局塊優化的立體影像密集匹配的全局能量函數的數據項；E_smooth表示基于全局塊優化的立體影像密集匹配的全局能量函數的平滑項；

求公式的最小值，等價于求可以采用最小二乘方法直接計算獲得全局最優的立體影像密集匹配視差圖。