[發(fā)明專利]一種基于自監(jiān)督深度學(xué)習(xí)的雙圖深度估計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110095247.6
• 申請(qǐng)日: 2021-01-25
• 公開（公告）號(hào): CN112767467B
• 公開（公告）日: 2022-11-11
• 發(fā)明（設(shè)計(jì)）人: 鄭健青;黃保茹
• 申請(qǐng)（專利權(quán)）人: 鄭健青
• 主分類號(hào): G06T7/55
• 分類號(hào): G06T7/55;G06T7/80;G06T3/40;G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海京滬專利代理事務(wù)所(普通合伙) 31235
• 代理人: 沈美英

本發(fā)明涉及一種基于自監(jiān)督深度學(xué)習(xí)的雙圖深度估計(jì)方法，相比現(xiàn)有的深度學(xué)習(xí)雙圖深度估計(jì)技術(shù)，在應(yīng)用場(chǎng)景中該發(fā)明通過兩張圖像所提取特征的對(duì)應(yīng)關(guān)系內(nèi)化得到基礎(chǔ)矩陣參數(shù)，從而無須相機(jī)標(biāo)定參數(shù)和位置姿態(tài)信息，提高了使用靈活性和適用價(jià)值，其中交互注意力機(jī)制實(shí)現(xiàn)了兩張圖像之間不同尺度上特征的匹配與融合，而嵌入的最優(yōu)傳輸算法解決了這一過程中的特征篩選問題，提升了現(xiàn)有方法中特征提取和匹配的準(zhǔn)確性和穩(wěn)定性，其中二維坐標(biāo)被額外串聯(lián)于特征圖中改善卷積神經(jīng)網(wǎng)絡(luò)對(duì)空間感知不足問題，進(jìn)一步提高現(xiàn)有方法的精確性，另外相比于現(xiàn)有的自監(jiān)督學(xué)習(xí)算法，該發(fā)明結(jié)合多個(gè)損失函數(shù)項(xiàng)避免訓(xùn)練陷入局部極值，提高了學(xué)習(xí)過程的穩(wěn)健性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像數(shù)據(jù)采集技術(shù)領(lǐng)域，特別是一種基于自監(jiān)督深度學(xué)習(xí)的雙圖深度估計(jì)方法。

背景技術(shù)

圖像的深度估計(jì)作為計(jì)算機(jī)視覺領(lǐng)域里通過二維圖像獲得三維信息的一種重要手段，被廣泛應(yīng)用于無人機(jī)/無人車控制、三維場(chǎng)景重建、手術(shù)機(jī)器人導(dǎo)航等方面，通常，根據(jù)使用圖像數(shù)量分為單圖深度估計(jì)方法和多圖深度估計(jì)方法。

其中單圖深度估計(jì)方法通過單張圖片實(shí)現(xiàn)深度估計(jì)，由于完全依賴于該圖像中觀測(cè)對(duì)象的輪廓、紋理、光源等對(duì)觀測(cè)物體的先驗(yàn)信息，從而導(dǎo)致容易缺失泛用性和對(duì)噪音的穩(wěn)健性。

相比之下多圖深度估計(jì)方法可以使用單個(gè)或多個(gè)攝像頭，從不同位置角度觀測(cè)同一物體，通過同一空間點(diǎn)在不同視角下的二維圖像位置來估計(jì)到該空間點(diǎn)的深度。由于多圖深度估計(jì)方法中包括雙圖深度估計(jì)方法，并且多圖深度估計(jì)方法通常是基于雙圖方法拓展的，所以，以下在不失通用性前提下僅討論雙圖深度估計(jì)方法。目前的雙圖深度估計(jì)方法主要分為傳統(tǒng)算法和深度學(xué)習(xí)算法，其中深度學(xué)習(xí)算法可以根據(jù)訓(xùn)練過程是否需要標(biāo)記深度圖數(shù)據(jù)分為監(jiān)督學(xué)習(xí)算法和自監(jiān)督學(xué)習(xí)算法。自監(jiān)督學(xué)習(xí)算法可以減少標(biāo)記數(shù)據(jù)所需成本，但是現(xiàn)有的自監(jiān)督學(xué)習(xí)算法通常往往只使用基于圖像再投影的損失函數(shù)而容易陷入局部最優(yōu)解。

雙圖深度估計(jì)過程通常包括三個(gè)部分：1)提取二維圖像特征；2)尋找同一空間點(diǎn)的圖像特征對(duì)應(yīng)關(guān)系；3)通過兩個(gè)視角的對(duì)應(yīng)圖像坐標(biāo)來估測(cè)到該空間點(diǎn)的深度距離。

在第一部分中，傳統(tǒng)算法基于特征點(diǎn)線面的提取方法(如SIFT、SURF)，通常需要根據(jù)使用的具體場(chǎng)景進(jìn)行調(diào)整，缺少普適性。相對(duì)來說深度學(xué)習(xí)算法如卷積神經(jīng)網(wǎng)絡(luò)可以根據(jù)不同場(chǎng)景數(shù)據(jù)來自適應(yīng)調(diào)整，但是監(jiān)督學(xué)習(xí)算法通常需要大量的標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練而增加成本。

第二部分中一大難點(diǎn)在于特征篩選，相機(jī)視野限制造成了存在沒有同時(shí)被兩張圖像觀測(cè)到的特征，傳統(tǒng)算法通常需要迭代運(yùn)算(如Ransac)來排除這些無法匹配的特征點(diǎn)，但是會(huì)因此消耗較多時(shí)間而無法進(jìn)行實(shí)時(shí)任務(wù)。而目前已知的深度學(xué)習(xí)算法還尚未有效解決這一問題。

在第三部分中，現(xiàn)有的雙圖深度學(xué)習(xí)算法大多需要在使用前通過相機(jī)標(biāo)定得到對(duì)應(yīng)參數(shù)，并要求在深度估計(jì)過程中兩張圖片拍攝中相機(jī)的相對(duì)位置和姿態(tài)，這極大的限制了其應(yīng)用場(chǎng)景。

另外目前雙圖深度學(xué)習(xí)方法通常依賴于卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行處理，其中有兩種主要方式：(1)將兩張圖像串聯(lián)后處理，(2)用雙生網(wǎng)絡(luò)結(jié)構(gòu)，即共享權(quán)重的雙分支網(wǎng)絡(luò)結(jié)構(gòu)。其中(1)由于卷積操作的感受野大小限制了兩張圖像的視差大小，因此限制了雙圖方法相對(duì)單圖方法的收益；而(2)中現(xiàn)有雙生網(wǎng)絡(luò)分支之間缺乏有效的特征融合，因此限制了該結(jié)構(gòu)在第二部分特征匹配中的表現(xiàn)。

發(fā)明內(nèi)容

本發(fā)明的目的是針對(duì)現(xiàn)有的雙圖深度估計(jì)方法所存在的不足，提供一種基于自監(jiān)督的端到端的深度學(xué)習(xí)算法的雙圖深度估計(jì)方法。

本發(fā)明的基于自監(jiān)督深度學(xué)習(xí)的雙圖深度估計(jì)方法，特征在于是通過以下措施來實(shí)現(xiàn)的：