[發(fā)明專利]一種高分辨率城市衛(wèi)星立體圖像的視差圖計(jì)算方法

有效

• 申請?zhí)枺?/td>: 202011285209.9
• 申請日: 2020-11-17
• 公開（公告）號: CN112435267B
• 公開（公告）日: 2023-03-17
• 發(fā)明（設(shè)計(jì)）人: 門朝光;趙禮;李晗;李金龍;薛嘉明
• 申請（專利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/50;H04N13/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種高分辨率城市衛(wèi)星立體圖像的視差圖計(jì)算方法，其特征在于，包括以下步驟：

步驟1：通過超像素分割方法將立體校正的高分辨率城市衛(wèi)星立體圖像對應(yīng)的參考圖像劃分成貼合實(shí)際目標(biāo)輪廓的超像素區(qū)域，得到n個超像素區(qū)域集合

步驟2：使用基于PHOW特征的下采樣匹配方法在每個超像素區(qū)域內(nèi)獲得分布均勻的匹配點(diǎn)，并利用多模型擬合的方法計(jì)算每個超像素區(qū)域?qū)?yīng)的單應(yīng)模型；

使用基于PHOW特征的下采樣匹配方法在每個超像素區(qū)域內(nèi)獲得分布均勻的匹配點(diǎn)的方法具體為：

步驟2.1：使用基于PHOW特征的下采樣匹配方法在M個像素(x,y)處獲取描述子PHOW(x,y)；

PHOW(x,y)＝SIFT₄(x,y)+SIFT₈(x,y)+SIFT₁₂(x,y)

其中，SIFT₄(x,y)、SIFT₈(x,y)和SIFT₁₂(x,y)分別是半徑為4、8、12的SIFT特征；

步驟2.2：通過最小特征距離與次小特征距離之比的方式獲得符合要求的匹配點(diǎn)，構(gòu)成下采樣匹配點(diǎn)集合判斷條件如下式所示：

其中，Min(·)和Sec(·)分別為最小值函數(shù)和次小值函數(shù)；PHOW(x_l,y_l)表示左視圖中點(diǎn)(x_l,y_l)處的PHOW特征，并且表示右視圖中第i個點(diǎn)(x_r,y_r)處的PHOW特征，并且Thr表示閾值；

步驟3：利用基于Patch代價(jià)、Census代價(jià)和PHOW代價(jià)的聯(lián)合加權(quán)匹配代價(jià)計(jì)算方法計(jì)算高分辨率城市衛(wèi)星立體圖像中同名點(diǎn)之間的匹配代價(jià)COST；

步驟4：使用雙重傳播動態(tài)模型優(yōu)化方法，在超像素區(qū)域模型的約束下對原始匹配代價(jià)的進(jìn)行迭代優(yōu)化，實(shí)現(xiàn)區(qū)域模型的動態(tài)更新，以解決遮擋區(qū)域和視差不連續(xù)區(qū)域?qū)ζヅ湓斐傻挠绊懀⑼ㄟ^最小化能量函數(shù)的方式獲得優(yōu)化后的城市衛(wèi)星立體圖像對應(yīng)的視差圖；

首先執(zhí)行外部傳播，通過置信傳播BP構(gòu)建外傳播概率圖模型，超像素塊作為圖的節(jié)點(diǎn)，超像素之間的相鄰關(guān)系作為圖的邊；為了解決因BP結(jié)構(gòu)中的“環(huán)結(jié)構(gòu)”導(dǎo)致消息的循環(huán)傳播，在每次迭代中會通過區(qū)域面積篩選出對應(yīng)的“目標(biāo)節(jié)點(diǎn)”，這些節(jié)點(diǎn)只作為消息的接收者，不會向外傳播消息，“目標(biāo)節(jié)點(diǎn)”融合成新的“非目標(biāo)節(jié)點(diǎn)”之后會繼續(xù)向外傳播消息，具體傳播步驟如下：

步驟4.1：計(jì)算外部傳播中的消息；

ψ_j→i(x_i,x_j)＝u·min(DisG(x_i,x_j),τ_g)+v·min(Di_sH(x_i,x_j),τ_h)

其中，表示節(jié)點(diǎn)j傳到相鄰節(jié)點(diǎn)i第t次迭代的消息；φ_i(x_i)為φ_i(x_i,y_i)的簡寫，表示似然函數(shù)；ψ_j→i(·)表示勢函數(shù)；表示排除節(jié)點(diǎn)x_i的x_j鄰域系統(tǒng)中所有傳入節(jié)點(diǎn)x_j的消息的乘積；g表示超像素區(qū)域i中的像素索引；f_g表示在超像素區(qū)域i中的第g個像素的圖像特征；δ_i和μ_i分別為在超像素區(qū)域i中的標(biāo)準(zhǔn)差和均值；DisG(·)和DisH(·)分別為超像素區(qū)域i與超像素區(qū)域j之間的灰度距離和單應(yīng)模型距離；τ_g和τ_h分別對應(yīng)于灰度距離和單應(yīng)模型距離的截?cái)嘀担挥糜诳刂茀^(qū)域間視差差值在合理范圍內(nèi)；和分別為超像素區(qū)域i與超像素區(qū)域j內(nèi)的像素點(diǎn)集合；I_p為像素點(diǎn)p的灰度值；Num(p)為超像素區(qū)域內(nèi)像素點(diǎn)p的數(shù)量；和分別為超像素區(qū)域i與超像素區(qū)域j內(nèi)下采樣點(diǎn)集合，||H_j·l^t,l^t′||₂表示下采樣點(diǎn)t的坐標(biāo)l^t在單應(yīng)模型H_j作用下獲得的坐標(biāo)與匹配點(diǎn)坐標(biāo)l^t′之間的歐氏距離，下采樣點(diǎn)t和單應(yīng)模型H_j分別屬于超像素區(qū)域i和超像素區(qū)域j；

步驟4.2：計(jì)算外部傳播的置信度；節(jié)點(diǎn)i的置信度b_i(x_i)是所有傳入節(jié)點(diǎn)i的消息與節(jié)點(diǎn)i似然函數(shù)的乘積；

其中，k為歸一化常數(shù)；

步驟4.3：外部傳播迭代；“目標(biāo)節(jié)點(diǎn)”與置信度最大的節(jié)點(diǎn)融合，形成新的“非目標(biāo)節(jié)點(diǎn)”；如果結(jié)構(gòu)中存在“目標(biāo)節(jié)點(diǎn)”，則返回步驟4.1；否則，終止迭代，執(zhí)行步驟4.4，進(jìn)入內(nèi)部傳播；

步驟4.4：執(zhí)行內(nèi)部傳播的懲罰傳播；內(nèi)部傳播對外部傳播形成的各個區(qū)域中的每個像素的匹配代價(jià)都沿著掃描線的路徑進(jìn)行迭代更新，內(nèi)部傳播包括八個方向的區(qū)域掃描線迭代；通過增加對區(qū)域邊緣的懲罰來保護(hù)視差斷層，同時也平滑區(qū)域內(nèi)部代價(jià)；區(qū)域內(nèi)沿掃描線的方向的懲罰傳播計(jì)算公式如下：

其中，為超像素區(qū)域S中迭代計(jì)算的匹配代價(jià)；C^s(p,d)為超像素區(qū)域S中當(dāng)前點(diǎn)匹配代價(jià)；N^r(p)為超像素區(qū)域S中r路徑上像素p的鄰域；為超像素區(qū)域S中上一輪計(jì)算的匹配代價(jià)，q為位于超像素區(qū)域S中路徑r上像素點(diǎn)p的前一個像素點(diǎn)；V^s(D_p,D_q)為超像素區(qū)域S中的懲罰函數(shù)，計(jì)算方法如下：

其中，p₁，p₂和p₃是懲罰因子，并且滿足p₂＞p₃＞p₁；p₁懲罰超像素區(qū)域內(nèi)視差變化為1個像素的情況；p₂懲罰位于視差斷層處的代價(jià)；p₃懲罰超像素區(qū)域內(nèi)視差變化大于1個像素的情況；懲罰函數(shù)既支持超像素內(nèi)相鄰像素之間的相似的視差和輕微的視差變化，也允許在超像素邊緣處出現(xiàn)大的視差變化；

步驟4.5：通過對每個方向上的代價(jià)求和獲得超像素區(qū)域內(nèi)優(yōu)化后的能量S^s(p,d)；通過對所有區(qū)域內(nèi)的代價(jià)求和獲得整張圖像的能量函數(shù)E(D)；

步驟4.6：通過最小化能量函數(shù)的方式獲得優(yōu)化后的城市衛(wèi)星立體圖像對應(yīng)的視差圖；最小化能量函數(shù)的計(jì)算公式為：

D＝argminE(D)。