[發(fā)明專利]一種基于簡(jiǎn)化獨(dú)立成分分析和局部相似性的立體匹配方法有效
| 申請(qǐng)?zhí)枺?/td> | 202010103827.0 | 申請(qǐng)日: | 2020-02-20 |
| 公開(公告)號(hào): | CN111368882B | 公開(公告)日: | 2023-04-18 |
| 發(fā)明(設(shè)計(jì))人: | 陳蘇婷;張婧霖;鄧仲;張闖 | 申請(qǐng)(專利權(quán))人: | 南京信息工程大學(xué) |
| 主分類號(hào): | G06V10/74 | 分類號(hào): | G06V10/74;G06V10/77;G06V10/82;G06N3/0464;G06N3/0455;G06N3/047;G06N3/08 |
| 代理公司: | 南京經(jīng)緯專利商標(biāo)代理有限公司 32200 | 代理人: | 羅運(yùn)紅 |
| 地址: | 210032 江蘇*** | 國(guó)省代碼: | 江蘇;32 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 基于 簡(jiǎn)化 獨(dú)立 成分 分析 局部 相似性 立體 匹配 方法 | ||
本發(fā)明公開了一種基于簡(jiǎn)化獨(dú)立成分分析和局部相似性的立體匹配方法,用于圖像處理技術(shù)領(lǐng)域,該方法對(duì)DispNetC網(wǎng)絡(luò)進(jìn)行改進(jìn),首先提出了簡(jiǎn)化獨(dú)立成分分析(ICA)代價(jià)聚合,引入匹配代價(jià)卷金字塔,簡(jiǎn)化ICA算法的預(yù)處理過程,同時(shí)定義簡(jiǎn)化ICA損失函數(shù);其次,引入?yún)^(qū)域損失函數(shù),結(jié)合單像素點(diǎn)損失函數(shù),定義局部相似性損失函數(shù),以完善視差圖的空間結(jié)構(gòu);最后,簡(jiǎn)化ICA損失函數(shù)和局部相似性損失函數(shù)相結(jié)合,訓(xùn)練網(wǎng)絡(luò)進(jìn)行視差圖預(yù)測(cè),彌補(bǔ)視差圖的邊緣信息。本發(fā)明在保證視差圖預(yù)測(cè)速度的同時(shí),提高了視差圖邊緣以及細(xì)節(jié)部分的預(yù)測(cè)準(zhǔn)確率,減少了在預(yù)測(cè)過程中對(duì)單像素點(diǎn)的依賴程度。
技術(shù)領(lǐng)域
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域,尤其涉及一種基于簡(jiǎn)化獨(dú)立成分分析和局部相似性的立體匹配方法。
背景技術(shù)
立體匹配是立體視覺研究中的關(guān)鍵部分,在車輛的自動(dòng)駕駛,3D模型重建,物體的檢測(cè)與識(shí)別等方面有廣泛的應(yīng)用。立體匹配的目的是求出立體圖像對(duì)中左右圖像像素點(diǎn)之間的對(duì)應(yīng)關(guān)系,以獲得視差圖。然而,立體匹配面臨著很大的挑戰(zhàn),遇到遮擋、弱紋理、深度不連續(xù)等復(fù)雜場(chǎng)景,不易獲取稠密且精細(xì)的視差圖。因此,如何準(zhǔn)確的從立體圖對(duì)中獲取密集視差,具有重大的研究意義。
傳統(tǒng)的立體匹配方法匹配效果的好壞依賴于匹配代價(jià)的準(zhǔn)確性,計(jì)算十分緩慢,十分依賴匹配窗口的合理性,對(duì)弱紋理區(qū)的處理效果不好,算法實(shí)現(xiàn)時(shí)收斂速度較慢。在傳統(tǒng)的立體匹配算法中,采用手動(dòng)的方法提取圖像特征以及代價(jià)卷的設(shè)計(jì),圖像信息表達(dá)不全面,影響了后續(xù)步驟的實(shí)施,視差圖精度受到影響。
發(fā)明內(nèi)容
發(fā)明目的:針對(duì)在實(shí)際場(chǎng)景中現(xiàn)存的立體匹配網(wǎng)絡(luò)在視差圖的邊緣,細(xì)節(jié)信息以及弱紋理區(qū)域的預(yù)測(cè)準(zhǔn)確率較低問題,本發(fā)明提出一種基于簡(jiǎn)化獨(dú)立成分分析(SICA)和局部相似性的立體匹配方法。該方法提高了視差圖邊緣以及細(xì)節(jié)部分的預(yù)測(cè)準(zhǔn)確率,減少了在預(yù)測(cè)過程中對(duì)單像素點(diǎn)的依賴程度。
技術(shù)方案:為實(shí)現(xiàn)本發(fā)明的目的,本發(fā)明所采用的技術(shù)方案是:一種基于簡(jiǎn)化獨(dú)立成分分析和局部相似性的立體匹配方法,包括以下步驟:
步驟一,將雙目相機(jī)拍攝的立體圖像對(duì)輸入DispNetC網(wǎng)絡(luò)的卷積層,提取每個(gè)像素的特征,通過計(jì)算特征相關(guān)性構(gòu)建初始匹配代價(jià)卷,完成初始匹配代價(jià)計(jì)算;
步驟二,將初始匹配代價(jià)卷輸入DispNetC網(wǎng)絡(luò)的編碼-解碼結(jié)構(gòu),進(jìn)行簡(jiǎn)化獨(dú)立成分分析匹配代價(jià)聚合,定義簡(jiǎn)化獨(dú)立成分分析損失函數(shù)LSICA,更新像素點(diǎn)的權(quán)值;
步驟三,聚合后的匹配代價(jià)卷輸入解碼結(jié)構(gòu)的最后一層反卷積層,反卷積的結(jié)果即為視差圖,構(gòu)建局部相似性損失函數(shù)Ll,并結(jié)合簡(jiǎn)化獨(dú)立成分分析損失函數(shù)LSICA,得到總損失函數(shù)L;
步驟四,利用真實(shí)視差圖和預(yù)測(cè)視差圖以及定義的總損失函數(shù)L進(jìn)行網(wǎng)絡(luò)訓(xùn)練,更新網(wǎng)絡(luò)參數(shù),通過訓(xùn)練完成的網(wǎng)絡(luò)預(yù)測(cè)得到全尺寸視差圖。
進(jìn)一步地,所述步驟一,實(shí)現(xiàn)從特征表達(dá)到像素點(diǎn)相似性衡量的轉(zhuǎn)換,初始匹配代價(jià)計(jì)算方法如下:
通過DispNetC網(wǎng)絡(luò)的卷積層提取立體圖像對(duì)的特征,得到兩張圖像各自的特征圖;將特征輸入DispNetC網(wǎng)絡(luò)的相關(guān)層,獲取其在特征空間內(nèi)對(duì)應(yīng)位置的關(guān)系,獲得初始匹配代價(jià);通過DispNetC網(wǎng)絡(luò)的相關(guān)層比較兩個(gè)特征圖各個(gè)塊的關(guān)系,即計(jì)算各塊之間的相關(guān)性,公式如下:
其中c(x1,x2)表示特征圖的塊的相關(guān)性,f1和f2分別表示兩個(gè)特征圖,x1表示特征圖f1中以x1為中心的一塊,x2表示特征圖f2中以x2為中心的一塊,k為圖像塊大小,d為圖像位移范圍,即視差搜索范圍;
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于南京信息工程大學(xué),未經(jīng)南京信息工程大學(xué)許可,擅自商用是侵權(quán)行為。如果您想購(gòu)買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請(qǐng)聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202010103827.0/2.html,轉(zhuǎn)載請(qǐng)聲明來源鉆瓜專利網(wǎng)。





