[發明專利]具有自我提升能力的金字塔雙目深度估計模型

在審

• 申請號: 201811531857.0
• 申請日: 2018-12-14
• 公開（公告）號: CN109801323A
• 公開（公告）日: 2019-05-24
• 發明（設計）人: 張鍥石;程俊;杜聿博
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T7/55
• 分類號: G06T7/55
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 范盈

本發明涉及深度學習、二維圖像深度重建領域，具體涉及一種具有自我提升能力的金字塔雙目深度估計模型，其主要包括以下步驟：1)搭建空間金字塔模塊；2)進行代價整合；3)多層回歸輸出；4)計算損失函數。本發明在金子塔雙目模型的基礎上，利用SPN(空間轉換網絡)根據模型生成的視差圖對雙目圖像進行重建，并根據重建圖像與原圖像之間的損失對模型進行訓練從而模型可以在沒有任何預處理雷達數據的情況下進行訓練，在有預處理的雷達數據的情況下，經過監督訓練之后的模型在測試時可以通過利用雙目重建損失進行在線訓練以提升其表現。

技術領域

本發明涉及深度學習、二維圖像深度重建領域，具體涉及一種具有自我提升能力的金字塔雙目深度估計模型。

背景技術

對于經過矯正的雙目圖片，如果左圖中坐標點為(x,y)的像素點a與右圖中坐標點為(x-d,y)的a`點匹配，d我們稱為視差，則a點和a`點到攝像頭的距離(即深度)＝相機焦距*兩相機中心距離÷視差。因為視差d和深度成反比，所以我們可以將求解深度的問題轉化為求解雙目圖像的視差。

現有的技術方案中，金字塔雙目深度模型用SPP-Module(空間金字塔模塊)(即不采用單一固定尺寸的池化，而是用四種大小的池化核對圖像進行特征提取，并將四組特征上采樣為固定尺寸特征并結合在一起)取代傳統的GC-NET(幾何與結構關系網絡)的特征提取部分。在GC-NET的損失匹配之后建立三組編碼-解碼三維卷積模塊，每一模塊會生成一組視差圖，在訓練階段利用這三組視差圖進行逐級訓練，在測試階段以最后一級卷積模塊的視差圖為最終結果。

現有的方案如果將其在某一特定場景下訓練所得的模型應用到新場景時，例如將在城市街道環境下訓練后所得的模型應用到鄉村街道的環境下，模型的表現將會變差，視差計算的誤差變大；現有的模型只可以在有預先根據雷達掃描結果生成的視差圖的條件下進行有監督學習，但是雷達的工作成本十分大，并且預先計算好的視差圖數量有限造成模型的深度計算能力有限。

發明內容

為解決上述背景技術中存在的問題，本發明提出一種具有自我提升能力的金字塔雙目深度估計模型，基于雙目圖像可以根據視差結果進行相互的圖像重建這一特點，即左圖可以根據右圖生成的視差圖片計算合成的右圖，通過計算左右新合成圖像與原始左右圖像之間的損失進行訓練使得模型可以不用依賴雷達數據進行學習以及當模型被應用到新場景中時可以通過在線學習的方式提高其深度計算的準確率。

本發明解決上述問題的技術方案是：一種具有自我提升能力的金字塔雙目深度估計模型，其特殊之處在于，包括以下步驟：

1)搭建空間金字塔模塊；

2)進行代價整合；

3)多層回歸輸出；

4)計算損失函數。

進一步地，上述步驟1)中搭建空間金字塔模塊，具體為：

空間金字塔模塊采用四種尺寸：8*8、16*16、32*32、64*64池化層，每個池化層后緊隨卷積層和激活層；將所有特征都上采樣為同一尺寸w/4*h/4，并將這些特征在通道的維度上融合在一起，融合后的特征作為下一層的輸入；其中，w為輸入圖像的寬，h為輸入圖像的高。

進一步地，上述步驟2)中進行代價整合，具體為：

將左右圖像各生成的特征在每個視差值上進行滑動融合，得到特征數為w/4*h/4*d/4*的三維特征模塊。

進一步地，上述步驟3)中，

編碼階段進行步長為1、2、1的卷積操作，解碼階段進行2次步長為2的反卷積操作；每組編碼解碼模塊的輸出上采樣為w*h*d，并進行歸一化操作，并利用