[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的立體圖像視差匹配方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810844767.0
• 申請(qǐng)日: 2018-07-27
• 公開(kāi)（公告）號(hào): CN109005398B
• 公開(kāi)（公告）日: 2020-08-04
• 發(fā)明（設(shè)計(jì)）人: 王毅剛;陳靖宇
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): H04N13/106
• 分類號(hào): H04N13/106;G06N3/04
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明公開(kāi)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的立體圖像視差匹配方法，本發(fā)明基于現(xiàn)有的用于視差估計(jì)的端到端學(xué)習(xí)幾何和上下文的深度立體回歸算法，通過(guò)改進(jìn)其所用的幾何上下文卷積神經(jīng)網(wǎng)絡(luò)，利用LSTM神經(jīng)網(wǎng)絡(luò)作為網(wǎng)絡(luò)層替代原本網(wǎng)絡(luò)模型中的soft?argmin網(wǎng)絡(luò)層操作。相比于原有的依靠人工定義規(guī)則的soft?argmin網(wǎng)絡(luò)操作，LSMT通過(guò)網(wǎng)絡(luò)學(xué)習(xí)出一個(gè)規(guī)則，以此來(lái)提高網(wǎng)絡(luò)性能，提高亞像素的準(zhǔn)確性，得到更加精確的視差估計(jì)圖，而且LSTM網(wǎng)絡(luò)擅長(zhǎng)處理成本序列，加快了網(wǎng)絡(luò)的處理速度，提高匹配效率。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，具體涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的立體圖像視差匹配方法。

背景技術(shù)

從立體圖像對(duì)中準(zhǔn)確地估計(jì)出三維幾何信息是許多計(jì)算機(jī)視覺(jué)應(yīng)用場(chǎng)景中的核心問(wèn)題，比如自動(dòng)駕駛和無(wú)人機(jī)等。其中較為關(guān)鍵的一步便是計(jì)算已校正的圖像對(duì)中相應(yīng)像素的視差，而在實(shí)際場(chǎng)景下，要實(shí)現(xiàn)較為精確的視差估計(jì)是一個(gè)極具挑戰(zhàn)性的問(wèn)題。現(xiàn)有的一些視差估計(jì)方法，在某些情況下無(wú)法對(duì)立體圖像對(duì)進(jìn)行良好的視差估計(jì)，例如無(wú)紋理區(qū)域，反射表面，薄結(jié)構(gòu)和重復(fù)圖案等。也有一些視差估計(jì)方法通過(guò)池化或者基于梯度的歸一化方法來(lái)減少估計(jì)失敗率，這就導(dǎo)致算法需要在平滑表面和檢測(cè)細(xì)節(jié)結(jié)構(gòu)之間做出平衡。

相比較而言，深度卷積神經(jīng)網(wǎng)絡(luò)在理解語(yǔ)義上非常有效，由于大量訓(xùn)練數(shù)據(jù)集的監(jiān)督，它們優(yōu)于分類任務(wù)。針對(duì)視差估計(jì)算法中的一些問(wèn)題，獲取全局語(yǔ)義上下文信息而不是只依賴于局部幾何信息能夠良好地解決它。當(dāng)前利用深度學(xué)習(xí)表示的立體算法主要關(guān)注于用它們生成一元項(xiàng)等，傳統(tǒng)的正則化和后續(xù)處理步驟仍然被需要，例如半全局塊匹配，左右一致性檢查等，這些正則化步驟的效果十分有限，因?yàn)檫@些步驟都是通過(guò)人工操作，淺層功能，也容易受到上述問(wèn)題的影響。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)所存在的上述技術(shù)缺陷，本發(fā)明提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的立體圖像視差匹配方法。基于現(xiàn)有的用于視差估計(jì)的端到端學(xué)習(xí)幾何和上下文的深度立體回歸算法，改進(jìn)其所用的幾何上下文卷積神經(jīng)網(wǎng)絡(luò)，利用LSTM(Long Short Term Memorynetwork)神經(jīng)網(wǎng)絡(luò)作為網(wǎng)絡(luò)層替代原本網(wǎng)絡(luò)模型中的soft-argmin網(wǎng)絡(luò)層操作。不僅提高了網(wǎng)絡(luò)模型的良好性能，平滑了視差估計(jì)，提高匹配精度，還提高了匹配效率。

一種基于卷積神經(jīng)網(wǎng)絡(luò)的立體圖像視差匹配方法，包括如下步驟：

步驟(1)：圖像預(yù)處理。對(duì)帶有參考實(shí)參圖的立體圖像對(duì)的左圖和右圖分別作歸一化處理，使其圖像像素值在[-1,1]中；

步驟(2)構(gòu)造用于端到端學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)。

包括以下網(wǎng)絡(luò)層：

2-1.構(gòu)造一個(gè)2D卷積操作層，由降采樣層和殘差塊構(gòu)成，每層網(wǎng)絡(luò)后面跟隨一個(gè)批量歸一化層和一個(gè)已校正的線性非線性層；

利用5*5的卷積核對(duì)輸入圖像先進(jìn)行一次降采樣操作，降采樣因子為2，隨后利用殘差塊對(duì)圖像進(jìn)行操作，該殘差塊總共有8個(gè)，且每個(gè)殘差塊由兩個(gè)3*3的卷積核組成，輸出為圖像的一元特征；

2-2.構(gòu)造計(jì)算立體匹配代價(jià)層。

利用深度一元特征生成的成本量計(jì)算立體匹配的代價(jià)，并將步驟2-1中2D卷積操作層的輸出級(jí)中的每個(gè)一元特征與對(duì)應(yīng)的立體圖像元組進(jìn)行連接，并將其打包進(jìn)一個(gè)4D量中；

其中深度一元特征生成的成本量的維度為H*W*(D+1)*F，其中H、W分別為圖像的高和寬，D為最大的視差值，F(xiàn)表示圖像特征。

2-3.構(gòu)造學(xué)習(xí)上下文層。