[發明專利]一種基于卷積神經網絡的雙框架估計深度和運動方法

有效

• 申請號: 201710025984.2
• 申請日: 2017-01-13
• 公開（公告）號: CN106780543B
• 公開（公告）日: 2019-06-28
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06T7/207
• 分類號: G06T7/207;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明中提出的一種基于卷積神經網絡的圖像像素分類方法，其主要內容包括：圖像輸入、自助網絡處理、迭代處理、圖像細化、獲得估計結果，其過程為，采用卷積網絡估計深度和相機運動，它包含三個階段：從場景數據集采樣圖像對并丟棄具有高光一致性誤差的圖像對；接下來，預處理后的圖像對輸入自助網絡中分別計算光流、深度和相機運動；然后，經由迭代網絡多次迭代反復改進現有的估計結果；最后由細化網絡精細化后獲得高分辨率深度圖和運動估計。本發明的網絡明顯優于傳統的運動結構，結果更準確和更魯棒；與從單個圖像估計深度的網絡不同，本網絡學習匹配的概念，可以利用運動視差，從而處理新類型的場景，并且允許估計運動。

技術領域

本發明涉及計算機視覺領域，尤其是涉及了一種基于卷積神經網絡的雙框架估計深度和運動方法。

背景技術

隨著科技技術迅速發展，在深度學習研究領域，運動結構是計算機視覺中的長期任務。代表現有技術的系統是由幾個連續處理步驟組成的精心設計的管線，這些系統具有某些固有的局限性。在開始估計相機運動之前，通常先通過稠密一致搜索來推斷場景的結構，相機運動的不正確估計導致錯誤的深度預測。此外，根據關鍵點檢測和描述符匹配計算的稀疏一致來估計相機運動的過程易于出現異常，并且在非紋理區域中不起作用，而且所有的運動結構方法不適應于小型相機的情況。而如果采用基于卷積神經網絡的雙框架估計深度和運動方法，則可以從一個無約束圖像對聯合估計深度和相機運動，還可以應用于機器人視覺導航、地圖生成、航空勘測、目標識別以及計算機圖像學中的虛擬現實等領域。

本發明提出了一種基于卷積神經網絡的雙框架估計深度和運動方法，它采用端到端的卷積網絡估計深度和相機運動，它包含三個階段：從場景數據集采樣圖像對并丟棄具有高光一致性誤差的圖像對；接下來，預處理后的圖像對輸入自助網絡中第一編碼器-解碼器網絡和第二編碼器-解碼器網絡中分別計算光流、深度和相機運動；然后，經由迭代網絡多次迭代反復改進現有的估計結果；最后由細化網絡精細化后獲得高分辨率深度圖和運動估計。本發明的網絡明顯由于傳統的雙框架運動結構，結果更準確和更魯棒，因為它是端對端訓練的，并且學習從X個線索集成其他形狀；與從單個圖像估計深度的網絡不同，本網絡學習匹配的概念，可以利用運動視差，從而處理新類型的場景，并且允許估計運動。

發明內容

針對深度和相機運動估計不準確和適用范圍不廣泛的問題，本發明的目的在于提供一種基于卷積神經網絡的雙框架估計深度和運動方法。

為解決上述問題，本發明提供一種基于卷積神經網絡的雙框架估計深度和運動方法，其主要內容包括：

(一)圖像輸入；

(二)自助網絡處理；

(三)迭代處理；

(四)圖像細化；

(五)獲得估計結果。

其中，一種基于卷積神經網絡的雙框架估計深度和運動方法，包括端到端的卷積網絡來計算連續的、無約束的圖像對的深度和相機運動；該架構由多個堆疊的編碼器-解碼器網絡組成，包括自助網絡、迭代網絡和細化網絡，核心部分是能夠改進自身預測的迭代網絡；網絡不僅估計深度和運動，而且還估計表面法線、圖像之間的光流以及匹配的置信度。

其中，所述的圖像輸入，選取有深度和相機姿勢的室內場景圖像作為場景數據集，包括從卡通到寫實的多種不同場景；從數據集中采樣圖像對時，自動丟棄具有高光一致性誤差的圖像對，并分割數據集，使得相同的場景不會同時出現在訓練集和測試集中。

其中，所述的自助網絡處理，自助網絡獲取圖像對作為輸入，并輸出初始深度和運動估計；由編碼器-解碼器網絡對組成，其中第一個計算光流，而第二個計算深度和相機運動。