[發(fā)明專利]一種局部立體匹配方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011279580.4
• 申請(qǐng)日: 2020-11-16
• 公開(kāi)（公告）號(hào): CN112348871B
• 公開(kāi)（公告）日: 2023-02-10
• 發(fā)明（設(shè)計(jì)）人: 荊樹(shù)旭;翟曉惠;柳有權(quán);盧鵬宇;劉佳玲
• 申請(qǐng)（專利權(quán)）人: 長(zhǎng)安大學(xué)
• 主分類號(hào): G06T7/55
• 分類號(hào): G06T7/55
• 代理公司: 西安創(chuàng)知專利事務(wù)所 61213
• 代理人: 衛(wèi)蘇晶

1.一種局部立體匹配方法，其特征在于，該方法包括以下步驟：

步驟一、圖像采集及極線校正：

步驟101、雙目相機(jī)包括左相機(jī)和右相機(jī)，左相機(jī)獲取左圖像并發(fā)送至計(jì)算機(jī)，同時(shí)，右相機(jī)獲取右圖像并發(fā)送至計(jì)算機(jī)，計(jì)算機(jī)得到左圖像和右圖像；

步驟102、計(jì)算機(jī)采用極線校正算法分別對(duì)左圖像和右圖像進(jìn)行極線校正，得到左校正圖像和右校正圖像；其中，左校正圖像I^L和右校正圖像I^R均為彩色圖像，且左校正圖像I^L和右校正圖像I^R的行數(shù)均為n，左校正圖像I^L和右校正圖像I^R的列數(shù)均為m；

步驟103、計(jì)算機(jī)將左校正圖像中各個(gè)像素點(diǎn)按照從左到右從上到下的順序排序，得到I個(gè)像素點(diǎn)；且I＝n×m；其中，n、m和I均為正整數(shù)；

計(jì)算機(jī)將右校正圖像中各個(gè)像素點(diǎn)按照從左到右從上到下的順序排序，得到I個(gè)像素點(diǎn)；

步驟104、以圖像左上角為原點(diǎn)o，過(guò)原點(diǎn)o且沿圖像的行方向?yàn)閳D像的u軸，過(guò)原點(diǎn)o且沿圖像的列方向?yàn)閳D像的v軸，得到像素坐標(biāo)系ouv；

步驟二、RGB三分量提取：

采用計(jì)算機(jī)調(diào)取RGB分量提取模塊，從左校正圖像和右校正圖像分別提取R分量、G分量和B分量，得到左校正圖像的R分量二維矩陣、左校正圖像的G分量二維矩陣和左校正圖像的B分量二維矩陣，以及右校正圖像的R分量二維矩陣、右校正圖像的G分量二維矩陣和右校正圖像的B分量二維矩陣；

步驟三、顏色匹配代價(jià)的獲取：

步驟301、以左校正圖像為基準(zhǔn)，從右校正圖像中進(jìn)行判斷，設(shè)定左校正圖像I^L中拍攝區(qū)域?qū)?yīng)點(diǎn)的左像素點(diǎn)記作第i個(gè)左像素點(diǎn)，且第i個(gè)左像素點(diǎn)在像素坐標(biāo)系ouv中的坐標(biāo)記作第i個(gè)左像素點(diǎn)的坐標(biāo)

設(shè)定右校正圖像I^R中拍攝區(qū)域?qū)?yīng)點(diǎn)的右像素點(diǎn)記作第j個(gè)右像素點(diǎn)，且第j個(gè)右像點(diǎn)在像素坐標(biāo)系ouv中的坐標(biāo)記作為第j個(gè)右像點(diǎn)的坐標(biāo)且其中，1≤i≤I，1≤j≤I，i和j均為正整數(shù)；

步驟302、左校正圖像和右校正圖像中，設(shè)定其中，a為自然數(shù)，當(dāng)a＝0時(shí)，初始視差值設(shè)定值d₀為零；當(dāng)a≥1時(shí)，d_a＝d_a-1+1，d_a表示第a個(gè)視差設(shè)定值，d_a-1表示第a-1個(gè)視差設(shè)定值；

步驟303、計(jì)算機(jī)根據(jù)左校正圖像的R分量二維矩陣、左校正圖像的G分量二維矩陣和左校正圖像的B分量二維矩陣，得到左校正圖像中R分量的比例系數(shù)左校正圖像中G分量的比例系數(shù)和左校正圖像中B分量的比例系數(shù)

步驟304、計(jì)算機(jī)根據(jù)公式得到第i個(gè)左像素點(diǎn)在視差為d_a時(shí)的R分量絕對(duì)值差；計(jì)算機(jī)根據(jù)公式得到第i個(gè)左像素點(diǎn)在視差為d_a時(shí)的G分量絕對(duì)值差；計(jì)算機(jī)根據(jù)公式得到第i個(gè)左像素點(diǎn)在視差為d_a時(shí)的B分量絕對(duì)值差；其中，表示第i個(gè)左像素點(diǎn)的R分量，表示第i個(gè)左像素點(diǎn)的G分量，表示第i個(gè)左像素點(diǎn)的B分量；表示第j個(gè)右像素點(diǎn)的R分量，表示第j個(gè)右像素點(diǎn)的G分量，表示第j個(gè)右像素點(diǎn)的B分量；

步驟305、計(jì)算機(jī)根據(jù)公式得到第i個(gè)左像素點(diǎn)在視差為d_a時(shí)的顏色代價(jià)其中，w₁表示第一加權(quán)系數(shù)，w₂表示第二加權(quán)系數(shù)，w₃表示第三加權(quán)系數(shù)；

步驟四、梯度匹配代價(jià)的獲取:

步驟401、計(jì)算機(jī)對(duì)左校正圖像和右校正圖像進(jìn)行灰度化處理，得到左灰度圖像和右灰度圖像；

步驟402、設(shè)定左灰度圖像中拍攝區(qū)域?qū)?yīng)點(diǎn)的第i個(gè)像素點(diǎn)記作第i個(gè)左灰度像素點(diǎn)，且第i個(gè)左灰度像素點(diǎn)在像素坐標(biāo)系ouv中的坐標(biāo)記作第i個(gè)左灰度像素點(diǎn)的坐標(biāo)

設(shè)定右灰度圖像中拍攝區(qū)域?qū)?yīng)點(diǎn)的第j個(gè)像素點(diǎn)記作第j個(gè)右灰度像素點(diǎn)，且第j個(gè)右灰度像素點(diǎn)在像素坐標(biāo)系ouv中的坐標(biāo)記作為第j個(gè)右灰度像素點(diǎn)的坐標(biāo)且

步驟403、左灰度圖像和右灰度圖像中，設(shè)定其中，a為自然數(shù)，當(dāng)a＝0時(shí)，初始視差值設(shè)定值d₀為零；當(dāng)a≥1時(shí)，d_a＝d_a-1+1，d_a表示第a個(gè)視差設(shè)定值，d_a-1表示第a-1個(gè)視差設(shè)定值；

步驟404、當(dāng)時(shí)，計(jì)算機(jī)根據(jù)公式得到左灰度圖像中第i個(gè)左灰度像素點(diǎn)沿u方向的灰度梯度其中，表示左灰度圖像中坐標(biāo)處的像素點(diǎn)的灰度值，表示第i個(gè)左灰度像素點(diǎn)的灰度值；

當(dāng)時(shí)，計(jì)算機(jī)根據(jù)公式得到左灰度圖像中第i個(gè)左灰度像素點(diǎn)沿u方向的灰度梯度其中，表示左灰度圖像中坐標(biāo)處的像素點(diǎn)的灰度值，

當(dāng)時(shí)，計(jì)算機(jī)根據(jù)公式得到右灰度圖像中第j個(gè)右灰度像素點(diǎn)沿u方向的灰度梯度其中，表示右灰度圖像中坐標(biāo)處的像素點(diǎn)的灰度值，表示第j個(gè)右灰度像素點(diǎn)的灰度值；

當(dāng)時(shí)，計(jì)算機(jī)根據(jù)公式得到右灰度圖像中第j個(gè)右灰度像素點(diǎn)沿u方向的灰度梯度其中，表示右灰度圖像中坐標(biāo)處的像素點(diǎn)的灰度值；

步驟405、計(jì)算機(jī)根據(jù)公式得到第i個(gè)左像素點(diǎn)在視差為d_a時(shí)u方向的灰度梯度差值

步驟五、匹配代價(jià)函數(shù)的獲取：

計(jì)算機(jī)建立第i個(gè)左像素點(diǎn)在視差為d_a時(shí)的匹配代價(jià)函數(shù)，如下式：

其中，α表示平衡顏色和梯度的因子，τ_D表示顏色閾值，τ_G表示梯度閾值，min(·)表示取最小值；

步驟六、判斷窗口區(qū)域的獲取：

步驟601、左校正圖像中，當(dāng)對(duì)第i個(gè)左像素點(diǎn)進(jìn)行正上方遍歷時(shí)，具體過(guò)程如下：

步驟6011、如果第i個(gè)左像素點(diǎn)位于圖像邊界，則停止正上方遍歷，得到第i個(gè)左像素點(diǎn)正上遍歷的最大像素個(gè)數(shù)L_s＝0；如果第i個(gè)左像素點(diǎn)不位于圖像邊界，執(zhí)行步驟6012；

步驟6012、對(duì)第i個(gè)左像素點(diǎn)正上方的第f_s個(gè)待遍歷像素點(diǎn)進(jìn)行判斷，判斷是否成立，如果成立，執(zhí)行步驟6013和步驟6014；否則，執(zhí)行步驟6015；其中，表示第i個(gè)左像素點(diǎn)正上方的第f_s個(gè)待遍歷像素點(diǎn)的R分量，f_s為正整數(shù)，τ_a表示判斷閾值；

步驟6013、如果第i個(gè)左像素點(diǎn)正上方的第f_s個(gè)待遍歷像素點(diǎn)位于圖像邊界，停止正上方遍歷，則第f_s個(gè)待遍歷像素點(diǎn)和第i個(gè)左像素點(diǎn)之間的像素個(gè)數(shù)為第i個(gè)左像素點(diǎn)正上遍歷的最大像素個(gè)數(shù)L_s；

步驟6014、如果第i個(gè)左像素點(diǎn)正上方的第f_s個(gè)待遍歷像素點(diǎn)不位于圖像邊界，按照步驟6012所述的方法對(duì)第i個(gè)左像素點(diǎn)正上方的下一個(gè)待遍歷像素點(diǎn)進(jìn)行判斷；

步驟6015、如果不成立，停止正上方遍歷，則第f_s-1個(gè)待遍歷像素點(diǎn)和第i個(gè)左像素點(diǎn)之間的像素個(gè)數(shù)為第i個(gè)左像素點(diǎn)正上遍歷的最大像素個(gè)數(shù)L_s；

步驟602、按照步驟6011所述的方法，對(duì)第i個(gè)左像素點(diǎn)進(jìn)行正下方遍歷，得到第i個(gè)左像素點(diǎn)正下方遍歷的最大像素個(gè)數(shù)L_x；

步驟603、按照步驟6011所述的方法，對(duì)第i個(gè)左像素點(diǎn)進(jìn)行正左方遍歷，得到第i個(gè)左像素點(diǎn)正左方遍歷的最大像素個(gè)數(shù)L_z；

步驟604、按照步驟6011所述的方法，對(duì)第i個(gè)左像素點(diǎn)進(jìn)行正右方遍歷，得到第i個(gè)左像素點(diǎn)正右方遍歷的最大像素個(gè)數(shù)L_y；

步驟605、左校正圖像I^L中第i個(gè)左像素點(diǎn)正上方遍歷的最大像素個(gè)數(shù)L_s、第i個(gè)左像素點(diǎn)正下方遍歷的最大像素個(gè)數(shù)L_x、第i個(gè)左像素點(diǎn)正左方遍歷的最大像素個(gè)數(shù)L_z和第i個(gè)左像素點(diǎn)正右方遍歷的最大像素個(gè)數(shù)L_y圍設(shè)的區(qū)域?yàn)榈趇個(gè)左像素點(diǎn)的判斷窗口區(qū)域；

步驟七、匹配代價(jià)的聚合：

步驟701、采用計(jì)算機(jī)獲取第i個(gè)左像素點(diǎn)的判斷窗口區(qū)域中的像素總數(shù)量并記作R，采用計(jì)算機(jī)獲取第i個(gè)左像素點(diǎn)的判斷窗口區(qū)域中各個(gè)像素的灰度值；

步驟702、采用計(jì)算機(jī)調(diào)取均值處理模塊，并輸入第i個(gè)左像素點(diǎn)的判斷窗口區(qū)域中的像素總數(shù)量R和第i個(gè)左像素點(diǎn)的判斷窗口區(qū)域中各個(gè)像素的灰度值，得到第i個(gè)左像素點(diǎn)的判斷窗口區(qū)域的像素均值并記作μ_i；

采用計(jì)算機(jī)調(diào)取方差處理模塊，并輸入第i個(gè)左像素點(diǎn)的判斷窗口區(qū)域中的像素總數(shù)量R、第i個(gè)左像素點(diǎn)的判斷窗口區(qū)域中各個(gè)像素的灰度值和第i個(gè)左像素點(diǎn)的判斷窗口區(qū)域的像素均值μ_i，得到第i個(gè)左像素點(diǎn)的判斷窗口區(qū)域的方差并記作

步驟703、采用計(jì)算機(jī)將第i個(gè)左像素點(diǎn)的判斷窗口區(qū)域中除去第i個(gè)左像素點(diǎn)后的各個(gè)像素點(diǎn)按照從上到下從左到右的順序排序，則第i個(gè)左像素點(diǎn)的判斷窗口區(qū)域的權(quán)重為且其中，r為正整數(shù)，且1≤r≤R-1，表示左灰度圖像第i個(gè)左像素點(diǎn)的判斷窗口區(qū)域中除去第i個(gè)左像素點(diǎn)后的第r個(gè)像素點(diǎn)的灰度值，表示左灰度圖像第i個(gè)左像素點(diǎn)的灰度值，ε表示平滑常數(shù)；

步驟704、按照步驟三至步驟五所述的方法，得到第i個(gè)左像素點(diǎn)的判斷窗口區(qū)域中除去第i個(gè)左像素點(diǎn)后的第r個(gè)像素點(diǎn)在視差d_a下的匹配代價(jià)函數(shù)

步驟705、采用計(jì)算機(jī)根據(jù)公式得到第i個(gè)左像素點(diǎn)在視差d_a下的匹配代價(jià)聚合值

步驟706、采用計(jì)算機(jī)將第i個(gè)左像素點(diǎn)在視差d₁下的匹配代價(jià)聚合值，第i個(gè)左像素點(diǎn)在視差d₂下的匹配代價(jià)聚合值，...，第i個(gè)左像素點(diǎn)在視差d_a下的匹配代價(jià)聚合值從小到大進(jìn)行排序，得到匹配代價(jià)聚合值最小值，則匹配代價(jià)聚合值最小值所對(duì)應(yīng)的視差為第i個(gè)左像素點(diǎn)的待判斷視差并記作

步驟八、視差優(yōu)化：

步驟801、采用計(jì)算機(jī)將右校正圖像中與左校正圖像中第i個(gè)左像素點(diǎn)視差為的右像素點(diǎn)記作第i個(gè)左像素點(diǎn)的第一待匹配點(diǎn)和第二待匹配點(diǎn)

步驟802、以右校正圖像為基準(zhǔn)，按照步驟三至步驟七所述的方法，從左校正圖像中進(jìn)行判斷，獲取第一待匹配點(diǎn)的待判斷視差和第二待匹配點(diǎn)的待判斷視差

從第一待匹配點(diǎn)的待判斷視差和第二待匹配點(diǎn)的待判斷視差中獲取待匹配點(diǎn)的待判斷視差較小值

步驟803、采用計(jì)算機(jī)判斷是否成立，當(dāng)成立，則左校正圖像中第i個(gè)左像素點(diǎn)和右校正圖像中所對(duì)應(yīng)的待匹配像素點(diǎn)為匹配像素點(diǎn)，則左校正圖像中第i個(gè)左像素點(diǎn)的視差值為當(dāng)不成立，執(zhí)行步驟804；

步驟804、以左校正圖像為基準(zhǔn)，按照步驟三至步驟八所述的方法，獲取左校正圖像中左像素點(diǎn)視差和左校正圖像中左像素點(diǎn)視差則左校正圖像中第i個(gè)左像素點(diǎn)的視差值為

步驟805、采用計(jì)算機(jī)根據(jù)左校正圖像中第i個(gè)左像素點(diǎn)的視差值，獲取視差圖；

步驟806、采用計(jì)算機(jī)對(duì)視差圖進(jìn)行加權(quán)中值濾波處理，得到優(yōu)化后的視差圖。