[發(fā)明專利]適用于2D卷積神經(jīng)網(wǎng)絡(luò)的可學(xué)習(xí)引導(dǎo)濾波模塊和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910867312.5
• 申請(qǐng)日: 2019-09-12
• 公開(kāi)（公告）號(hào): CN110599534B
• 公開(kāi)（公告）日: 2022-01-21
• 發(fā)明（設(shè)計(jì)）人: 李秀;宋愷祥
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)深圳國(guó)際研究生院
• 主分類號(hào): G06T7/55
• 分類號(hào): G06T7/55
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 王震宇

一種適用于2D卷積神經(jīng)網(wǎng)絡(luò)的可學(xué)習(xí)引導(dǎo)濾波模塊和方法，在所述引導(dǎo)濾波模塊中，對(duì)于由輸入的原始引導(dǎo)圖獲得的導(dǎo)向引導(dǎo)圖，將每一個(gè)導(dǎo)向引導(dǎo)圖與向指定方向進(jìn)行位移后的原始特征圖進(jìn)行逐像素點(diǎn)的相乘操作，并將所有方向乘積結(jié)果進(jìn)行求和，獲得處理后的特征圖，與原始特征圖相比，其是以導(dǎo)向引導(dǎo)圖為權(quán)重，對(duì)不同方向位移后的特征圖進(jìn)行加權(quán)求和的結(jié)果，從而實(shí)現(xiàn)引導(dǎo)濾波。

技術(shù)領(lǐng)域

本發(fā)明涉及雙目深度估計(jì)領(lǐng)域，尤其是一種適用于2D卷積神經(jīng)網(wǎng)絡(luò)的可學(xué)習(xí)引導(dǎo)濾波模塊和方法。

背景技術(shù)

雙目深度估計(jì)(Binocular depth estimation)任務(wù)是根據(jù)校準(zhǔn)后的雙目相機(jī)拍攝的兩張雙目圖像，獲得場(chǎng)景深度圖的過(guò)程，在自動(dòng)駕駛、活體檢測(cè)、三維重建等領(lǐng)域具有廣泛的應(yīng)用。視差是兩張雙目圖片上對(duì)應(yīng)點(diǎn)的像素距離，視差與深度存在反比關(guān)系，因此深度估計(jì)任務(wù)可以轉(zhuǎn)化為視差匹配任務(wù)，深度圖與視差圖存在對(duì)應(yīng)關(guān)系。如圖1所示，雙目深度估計(jì)任務(wù)就是要尋找一個(gè)計(jì)算模型，根據(jù)輸入的左右目圖像估計(jì)出左圖(或右圖)的深度圖。

例如由哈佛大學(xué)和百度聯(lián)合設(shè)計(jì)的GANet算法(Zhang F,Prisacariu V,Yang R,et al.GA-Net:Guided Aggregation Net for End-to-end Stereo Matching[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2019:185-194.)，由特征提取塊、代價(jià)聚合模塊、用于生成代價(jià)權(quán)重的引導(dǎo)子網(wǎng)和視差回歸模塊。左右圖像被送進(jìn)一個(gè)孿生的特征提取網(wǎng)絡(luò)，該網(wǎng)絡(luò)由沙漏網(wǎng)絡(luò)堆疊而成，用提取的左右圖像特征計(jì)算代價(jià)塊(cost volume)，送進(jìn)代價(jià)聚合塊中進(jìn)行正則化，細(xì)化和視差回歸，引導(dǎo)子網(wǎng)絡(luò)(綠色)為引導(dǎo)成本聚合過(guò)程生成權(quán)重矩陣(SGA和LGA)，采用多個(gè)SGA層進(jìn)行成本聚合，LGA層可以在視差回歸的softmax層前后實(shí)現(xiàn)。所得到的視差圖具有較銳利的邊緣和平滑的平面。

現(xiàn)有常用的視差匹配算法有兩種，一種是基于回歸的視差匹配方式，這種算法直接使用類似分割的網(wǎng)絡(luò)模型，采用ResNet等基礎(chǔ)網(wǎng)絡(luò)進(jìn)行特征提取，這種方法全程使用2D卷積實(shí)現(xiàn)，具有較快的運(yùn)行速度，但是準(zhǔn)確率不高，例如Monodepth等；另一種方案是采用模仿傳統(tǒng)方案的視差分類結(jié)構(gòu)，這種結(jié)構(gòu)一般使用2D孿生結(jié)構(gòu)提取左右圖像的特征，然后使用提取到的特征構(gòu)建代價(jià)塊(Cost Volume)，再使用若干3D卷積對(duì)三維代價(jià)塊進(jìn)行視差回歸，這種方案準(zhǔn)確率高，但是計(jì)算開(kāi)銷大，難以應(yīng)用在車載芯片等平臺(tái)上，這種方法的代表是GCNet、PSMNet和GANet等。GANet中使用SGA與LGA進(jìn)行引導(dǎo)聚合，模擬SGM算法中的動(dòng)態(tài)規(guī)劃過(guò)程，但是這些層都是作用在3D代價(jià)塊上，而3D代價(jià)塊的卷積操作對(duì)于車載芯片等嵌入式產(chǎn)品是無(wú)法承擔(dān)的計(jì)算開(kāi)銷。

引導(dǎo)濾波(導(dǎo)向圖濾波)是一種圖像濾波技術(shù)，通過(guò)一張引導(dǎo)圖G，對(duì)目標(biāo)圖像P(輸入圖像)進(jìn)行濾波處理，使得最后的輸出圖像大體上與目標(biāo)圖像P相似，但是紋理部分與引導(dǎo)圖G相似。其典型應(yīng)用有兩個(gè)：保邊圖像平滑，摳圖。

以上背景技術(shù)內(nèi)容的公開(kāi)僅用于輔助理解本發(fā)明的發(fā)明構(gòu)思及技術(shù)方案，其并不必然屬于本專利申請(qǐng)的現(xiàn)有技術(shù)，在沒(méi)有明確的證據(jù)表明上述內(nèi)容在本專利申請(qǐng)的申請(qǐng)日已經(jīng)公開(kāi)的情況下，上述背景技術(shù)不應(yīng)當(dāng)用于評(píng)價(jià)本申請(qǐng)的新穎性和創(chuàng)造性。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種適用于2D卷積神經(jīng)網(wǎng)絡(luò)的可學(xué)習(xí)引導(dǎo)濾波模塊和方法，至少解決現(xiàn)有的基于回歸的全2D深度估計(jì)算法得到的深度圖存在輪廓不清晰、平面不光滑，細(xì)節(jié)不完整、準(zhǔn)確率不高的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：