[發(fā)明專利]一種結(jié)合梯度和紋理特征的單目圖像深度估計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911030699.5
• 申請(qǐng)日: 2019-10-28
• 公開(kāi)（公告）號(hào): CN110889868B
• 公開(kāi)（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 孔清;顏成鋼;史治國(guó);劉彥禹;管飛;孫垚棋;張繼勇;張勇東;沈韜
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06T7/529
• 分類號(hào): G06T7/529;G06V10/82;G06V10/774
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊舟濤

本發(fā)明公開(kāi)了一種結(jié)合梯度和紋理特征的單目圖像深度估計(jì)方法。本發(fā)明包含以下步驟：步驟1：預(yù)訓(xùn)練目標(biāo)高維特征，設(shè)計(jì)訓(xùn)練編碼深度高維特征，并解碼成原輸入深度圖的模型結(jié)構(gòu)；步驟2：提取單目圖像的附加圖像特征；附加特征主要是針對(duì)圖像提取相應(yīng)的紋理特征和梯度特征；步驟3：構(gòu)造訓(xùn)練高維特征學(xué)習(xí)的編碼器；步驟4：將訓(xùn)練完成的高維特征輸入到步驟1訓(xùn)練練完成的解碼器中，進(jìn)行解碼得到我們最后的深度輸出圖。本發(fā)明采取函數(shù)關(guān)系和圖像存在的深度線索相結(jié)合的方式，彌補(bǔ)圖像中實(shí)例的細(xì)節(jié)層面的深度信息缺失的問(wèn)題。本發(fā)明把圖像的梯度信息和紋理信息作為深度線索，協(xié)助深度卷積網(wǎng)絡(luò)學(xué)習(xí)圖像的深度信息。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)圖像處理領(lǐng)域，特別涉及一種結(jié)合梯度和紋理特征的單目圖像深度估計(jì)方法。

背景技術(shù)

圖像深度估計(jì)指的是根據(jù)二維圖像中恢復(fù)出現(xiàn)實(shí)場(chǎng)景的深度信息，其在場(chǎng)景理解、三維重建、自動(dòng)駕駛等領(lǐng)域有著重要作用。由于普通相機(jī)拍攝的圖片只記錄了場(chǎng)景的二維信息，缺乏對(duì)場(chǎng)景的深度表示，因此如何恢復(fù)二維圖像的深度信息成為了計(jì)算機(jī)視覺(jué)領(lǐng)域的一項(xiàng)重要任務(wù)。當(dāng)前獲取圖像深度信息的方法主要有基于多相機(jī)視差、基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)和利用深度相機(jī)等方式。基于多相機(jī)視差的深度估計(jì)方法需要在場(chǎng)景中布置多臺(tái)相機(jī)，每臺(tái)相機(jī)同時(shí)記錄場(chǎng)景點(diǎn)的角度和位置信息，利用各視角圖像中的匹配點(diǎn)計(jì)算出相機(jī)的視差并恢復(fù)場(chǎng)景的深度信息。對(duì)于基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的深度估計(jì)方法，其利用移動(dòng)的單目相機(jī)對(duì)場(chǎng)景進(jìn)行記錄，僅僅通過(guò)比較視頻各幀之間的差異來(lái)恢復(fù)深度信息，并不能很好地收集完整且全面的圖像信息，因此無(wú)法對(duì)單幅圖像進(jìn)行深度重建。此外，當(dāng)前存在的消費(fèi)級(jí)深度相機(jī)由于對(duì)環(huán)境光照敏感，計(jì)算復(fù)雜度高等原因無(wú)法在現(xiàn)實(shí)中的各類場(chǎng)景下使用。

基于單目圖像的深度只利用一個(gè)視點(diǎn)的圖像進(jìn)行估計(jì)，深度線索的缺乏,使得估計(jì)問(wèn)題難度加大，為此人們進(jìn)行了大量的先前工作，大致包括基于深度線索的深度估計(jì)方式、基于機(jī)器學(xué)習(xí)的方式以及基于深度學(xué)習(xí)的深度估計(jì)方式。常用的深度線索包括遮擋、法線、語(yǔ)義信息等，通常利用對(duì)應(yīng)的深度線索與深度之間的關(guān)聯(lián)從而來(lái)計(jì)算深度，通常能恢復(fù)較高精度的場(chǎng)景深度信息，對(duì)于深度估計(jì)有很大幫助，但同時(shí)這種方法也存在巨大缺陷：其受制于場(chǎng)景條件和設(shè)備條件，并且需要求解設(shè)備的內(nèi)外參數(shù)這些問(wèn)題都會(huì)影響深度估計(jì)速度。基于機(jī)器學(xué)習(xí)的深度估計(jì)方式有很好的適用性，它不受場(chǎng)景的限制。它通過(guò)以深度圖作為標(biāo)簽，將原圖輸入到模型中進(jìn)行經(jīng)驗(yàn)學(xué)習(xí)。但這種方法的學(xué)習(xí)速度較慢效率不高。而基于深度學(xué)習(xí)的單目深度估計(jì)方式出現(xiàn)則在一定程度上彌補(bǔ)了這些缺陷，其主要依據(jù)像素值關(guān)系反應(yīng)深度關(guān)系，擬合函數(shù)把圖像像素值反映到深度空間，從而獲得深度圖輪廓。從大量實(shí)驗(yàn)結(jié)果可以看出存在這樣的函數(shù)從像素值中恢復(fù)深度值，但其深度圖的效果不佳，圖片呈現(xiàn)模糊，并且與原圖相比，只能學(xué)習(xí)到圖像深度值的大致分布，在諸多細(xì)節(jié)上仍存在巨大缺陷，這也正表示單純依賴這樣的函數(shù)來(lái)反映空間信息是片面的。

為此，我們采取函數(shù)關(guān)系和圖像存在的深度線索相結(jié)合的方式，由大量的先前的工作可以看出，使用深度學(xué)習(xí)可以學(xué)習(xí)到圖像的深度空間的大致分布輪廓，與此同時(shí)一些細(xì)節(jié)層面的信息缺失可以通過(guò)傳統(tǒng)的深度線索可以得到及時(shí)的彌補(bǔ)。例如圖像的語(yǔ)義信息可以幫助機(jī)器理解圖像中的實(shí)例，確定實(shí)例的區(qū)域，在同一塊區(qū)域范圍內(nèi)，有著相近的深度信息，這可以很好地彌補(bǔ)圖像中實(shí)例的細(xì)節(jié)層面的深度信息缺失的問(wèn)題。而在發(fā)明中，我們把圖像的梯度信息和紋理信息作為深度線索，協(xié)助深度卷積網(wǎng)絡(luò)學(xué)習(xí)圖像的深度信息。由大量的實(shí)驗(yàn)證明，本發(fā)明中的方法對(duì)圖像的深度信息有著良好的學(xué)習(xí)能力。

目前基于單目圖像的深度估計(jì)算法具有方便部署、計(jì)算成本低等優(yōu)點(diǎn)，受到了學(xué)術(shù)界和工業(yè)界日益增長(zhǎng)的關(guān)注。越來(lái)越多的人們開(kāi)始利用深度學(xué)習(xí)的方式來(lái)獲得圖像的深度特征。如今深度估計(jì)在生活環(huán)境中的應(yīng)用變得日益普遍，例如幫助潛在應(yīng)用更好理解網(wǎng)絡(luò)或是在社交媒體上發(fā)布的圖像，又或者可以改善現(xiàn)有的識(shí)別任務(wù)，并支持3D建模，機(jī)器人等應(yīng)用，在增強(qiáng)現(xiàn)實(shí)(AR)，自動(dòng)駕駛，場(chǎng)景重建等領(lǐng)域上發(fā)揮巨大的作用。

發(fā)明內(nèi)容

本發(fā)明提出一種結(jié)合梯度和紋理特征的單目圖像深度估計(jì)方法。該方法基于深度學(xué)習(xí)可以從單目圖像中簡(jiǎn)單有效地提取出深度特征。