[發(fā)明專利]一種基于簡(jiǎn)化獨(dú)立成分分析和局部相似性的立體匹配方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010103827.0
• 申請(qǐng)日: 2020-02-20
• 公開（公告）號(hào): CN111368882B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 陳蘇婷;張婧霖;鄧仲;張闖
• 申請(qǐng)（專利權(quán)）人: 南京信息工程大學(xué)
• 主分類號(hào): G06V10/74
• 分類號(hào): G06V10/74;G06V10/77;G06V10/82;G06N3/0464;G06N3/0455;G06N3/047;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 羅運(yùn)紅

本發(fā)明公開了一種基于簡(jiǎn)化獨(dú)立成分分析和局部相似性的立體匹配方法，用于圖像處理技術(shù)領(lǐng)域，該方法對(duì)DispNetC網(wǎng)絡(luò)進(jìn)行改進(jìn)，首先提出了簡(jiǎn)化獨(dú)立成分分析(ICA)代價(jià)聚合，引入匹配代價(jià)卷金字塔，簡(jiǎn)化ICA算法的預(yù)處理過程，同時(shí)定義簡(jiǎn)化ICA損失函數(shù)；其次，引入?yún)^(qū)域損失函數(shù)，結(jié)合單像素點(diǎn)損失函數(shù)，定義局部相似性損失函數(shù)，以完善視差圖的空間結(jié)構(gòu)；最后，簡(jiǎn)化ICA損失函數(shù)和局部相似性損失函數(shù)相結(jié)合，訓(xùn)練網(wǎng)絡(luò)進(jìn)行視差圖預(yù)測(cè)，彌補(bǔ)視差圖的邊緣信息。本發(fā)明在保證視差圖預(yù)測(cè)速度的同時(shí)，提高了視差圖邊緣以及細(xì)節(jié)部分的預(yù)測(cè)準(zhǔn)確率，減少了在預(yù)測(cè)過程中對(duì)單像素點(diǎn)的依賴程度。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于簡(jiǎn)化獨(dú)立成分分析和局部相似性的立體匹配方法。

背景技術(shù)

立體匹配是立體視覺研究中的關(guān)鍵部分，在車輛的自動(dòng)駕駛，3D模型重建，物體的檢測(cè)與識(shí)別等方面有廣泛的應(yīng)用。立體匹配的目的是求出立體圖像對(duì)中左右圖像像素點(diǎn)之間的對(duì)應(yīng)關(guān)系，以獲得視差圖。然而，立體匹配面臨著很大的挑戰(zhàn)，遇到遮擋、弱紋理、深度不連續(xù)等復(fù)雜場(chǎng)景，不易獲取稠密且精細(xì)的視差圖。因此，如何準(zhǔn)確的從立體圖對(duì)中獲取密集視差，具有重大的研究意義。

傳統(tǒng)的立體匹配方法匹配效果的好壞依賴于匹配代價(jià)的準(zhǔn)確性，計(jì)算十分緩慢，十分依賴匹配窗口的合理性，對(duì)弱紋理區(qū)的處理效果不好，算法實(shí)現(xiàn)時(shí)收斂速度較慢。在傳統(tǒng)的立體匹配算法中，采用手動(dòng)的方法提取圖像特征以及代價(jià)卷的設(shè)計(jì)，圖像信息表達(dá)不全面，影響了后續(xù)步驟的實(shí)施，視差圖精度受到影響。

發(fā)明內(nèi)容

發(fā)明目的：針對(duì)在實(shí)際場(chǎng)景中現(xiàn)存的立體匹配網(wǎng)絡(luò)在視差圖的邊緣，細(xì)節(jié)信息以及弱紋理區(qū)域的預(yù)測(cè)準(zhǔn)確率較低問題，本發(fā)明提出一種基于簡(jiǎn)化獨(dú)立成分分析(SICA)和局部相似性的立體匹配方法。該方法提高了視差圖邊緣以及細(xì)節(jié)部分的預(yù)測(cè)準(zhǔn)確率，減少了在預(yù)測(cè)過程中對(duì)單像素點(diǎn)的依賴程度。

技術(shù)方案：為實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明所采用的技術(shù)方案是：一種基于簡(jiǎn)化獨(dú)立成分分析和局部相似性的立體匹配方法，包括以下步驟：

步驟一，將雙目相機(jī)拍攝的立體圖像對(duì)輸入DispNetC網(wǎng)絡(luò)的卷積層，提取每個(gè)像素的特征，通過計(jì)算特征相關(guān)性構(gòu)建初始匹配代價(jià)卷，完成初始匹配代價(jià)計(jì)算；

步驟二，將初始匹配代價(jià)卷輸入DispNetC網(wǎng)絡(luò)的編碼-解碼結(jié)構(gòu)，進(jìn)行簡(jiǎn)化獨(dú)立成分分析匹配代價(jià)聚合，定義簡(jiǎn)化獨(dú)立成分分析損失函數(shù)L_SICA，更新像素點(diǎn)的權(quán)值；

步驟三，聚合后的匹配代價(jià)卷輸入解碼結(jié)構(gòu)的最后一層反卷積層，反卷積的結(jié)果即為視差圖，構(gòu)建局部相似性損失函數(shù)L_l，并結(jié)合簡(jiǎn)化獨(dú)立成分分析損失函數(shù)L_SICA，得到總損失函數(shù)L；

步驟四，利用真實(shí)視差圖和預(yù)測(cè)視差圖以及定義的總損失函數(shù)L進(jìn)行網(wǎng)絡(luò)訓(xùn)練，更新網(wǎng)絡(luò)參數(shù)，通過訓(xùn)練完成的網(wǎng)絡(luò)預(yù)測(cè)得到全尺寸視差圖。

進(jìn)一步地，所述步驟一，實(shí)現(xiàn)從特征表達(dá)到像素點(diǎn)相似性衡量的轉(zhuǎn)換，初始匹配代價(jià)計(jì)算方法如下：

通過DispNetC網(wǎng)絡(luò)的卷積層提取立體圖像對(duì)的特征，得到兩張圖像各自的特征圖；將特征輸入DispNetC網(wǎng)絡(luò)的相關(guān)層，獲取其在特征空間內(nèi)對(duì)應(yīng)位置的關(guān)系，獲得初始匹配代價(jià)；通過DispNetC網(wǎng)絡(luò)的相關(guān)層比較兩個(gè)特征圖各個(gè)塊的關(guān)系，即計(jì)算各塊之間的相關(guān)性，公式如下：

其中c(x₁,x₂)表示特征圖的塊的相關(guān)性，f₁和f₂分別表示兩個(gè)特征圖，x₁表示特征圖f₁中以x₁為中心的一塊，x₂表示特征圖f₂中以x₂為中心的一塊，k為圖像塊大小，d為圖像位移范圍，即視差搜索范圍；