[發明專利]一種基于深度神經網絡的雙目深度估計方法

有效

• 申請號: 201811453789.0
• 申請日: 2018-11-30
• 公開（公告）號: CN109377530B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 侯永宏;呂曉冬;許賢哲;陳艷芳;趙健
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T3/40;G06N3/04
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 陳娟

本發明涉及一種基于深度神經網絡的雙目深度估計方法，步驟如下：1)對輸入的左、右視點圖像通過預處理使數據增強；2)構建雙目深度估計的多尺度網絡模型，模型包含多個卷積層、激活層、殘差連接、多尺度池化連接以及線性上采樣層；3)設計損失函數使其在不斷的訓練過程中取得最小化結果，從而獲得最優的網絡權重；4)將待處理的圖像輸入到網絡模型中，得到對應的深度圖，并不斷重復以上這幾個步驟直到網絡收斂或達到訓練次數。本發明采用無監督學習的思想，僅利用雙目相機獲取的左右視點圖像作為網絡輸入。該網絡的自適應性設計將相機內外參數設置為單獨的模型參數，因此能夠在不需要修改網絡的前提下適用于多個相機系統。

技術領域

本發明屬于多媒體圖像處理領域，涉及到計算機視覺、深度學習技術，由其是一種基于深度神經網絡的雙目深度估計方法。

技術背景

深度估計一直是計算機視覺領域的熱門研究方向，深度圖提供的三維數據為三維重建、增強現實(Augmented Reality,AR)、智能導航等應用的實現提供了所需信息。同時，深度圖表達的位置關系在眾多圖像任務中極為重要，能夠使得圖像處理算法進一步簡化。目前較為常見的深度估計主要分為兩類，即單目深度估計和雙目深度估計。

單目深度估計方法只使用一個相機，傳統算法中相機捕獲連續的圖像幀，通過幀間的運動模型進行投影變換從而估計圖像深度。基于深度學習的單目深度估計則是利用帶有真實深度信息的數據集訓練深度神經網絡，利用學習得到的深度神經網絡來回歸深度。此類算法設備簡單，成本較低，可適用于動態場景。但同時因為缺少尺度信息，通常深度信息不夠準確，在未知場景中性能往往嚴重退化。雙目估計方法使用兩臺經過校準的攝像頭，從兩個不同的視角觀測同一物體。找到不同視角下的同一空間點，計算出對應像素點間的視差，然后通過三角測量即可將視差轉換為深度。傳統的雙目估計采用立體匹配算法，計算量較大，對低紋理場景效果較差。基于深度學習的雙目深度估計多采用監督學習方法，由于神經網絡強大的學習能力，比起傳統方法，目前此類方法不管是在精度還是速度上都有了極大的提升。

然而有監督學習通常過于依賴真實值，但真實值可能存在誤差和噪音、深度信息較為稀疏、硬件設備很難校準等問題，從而使得估計出的深度值不夠準確。無監督學習方法一直被認為是人工智能能夠在真實世界真正有效地自我學習的研究方向，因此，近年來基于無監督學習的圖像深度估計方法成為研究熱點。

發明內容

本發明的目的是提出一種基于深度神經網絡的雙目深度估計方法，采用無監督學習的思想，僅利用雙目相機獲取的左右視點圖像作為網絡輸入，而不需預先獲取輸入圖像的深度信息作為訓練標簽。同時，該網絡的自適應性設計將相機內外參數設置為單獨的模型參數，因此能夠在不需要修改網絡的前提下適用于多個相機系統。此外，該神經網絡基本不受光照、噪聲等影響，魯棒性較高。

實現本發明目的的技術方案如下：

一種基于深度神經網絡的雙目深度估計方法，步驟如下：

1)對輸入的左右視點圖像進行切割、變換等相應的圖像預處理進行數據增強，包括輕度的仿射變形、隨機水平旋轉、隨機尺度抖動、隨機對比度、亮度、飽和度和銳度等等，從而進一步增加樣本數量，有利于網絡參數的訓練優化，增強網絡的泛化能力；

2)構建雙目深度估計的多尺度網絡模型，模型包含多個卷積層、激活層、殘差連接、多尺度池化連接以及線性上采樣層等。

(a)網絡采用三個殘差網絡結構對輸入進行多尺度卷積，每個殘差模塊包括兩個卷積層和一個恒等映射。除了第一個卷積核為3*3，其余均為7*7大小。

(b)網絡中第二層、第六層和第十四層為多尺度池化模塊，對第二層和第六層輸出進行平均池化操作，分別為步長為4、核大小為4*4和步長為2、核大小為2*2，并與第十四層輸出一同進行1*1的卷積。

(c)左右視圖通過前端網絡處理，通過多尺度池化模塊后采用特征相關操作關聯左右視圖的特征信息，計算兩圖間特征相關性：