[發明專利]一種基于深度預測和增強子網絡的高質量深度估計方法

有效

• 申請號: 201810207285.4
• 申請日: 2018-03-14
• 公開（公告）號: CN108510535B
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 葉昕辰;李豪杰;李陽;段祥越
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06N3/04;G06N3/08
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 陳玲玉

本發明公開了一種基于深度預測和增強子網絡的高質量深度估計方法，屬于圖像處理和計算機視覺領域。本方法通過搭建深度預測子網絡對彩色圖進行深度預測，并采用深度增強子網絡對深度預測子網絡得到的低分辨率圖進行分辨率恢復，進而得到高分辨率的深度預測圖。本方法程序簡單，易于實現；系統容易構建，用卷積神經網絡即可端到端的從單張彩色圖得到對應的高質量的深度圖；通過彩色圖像高頻信息恢復深度預測子網絡下采樣所損失的信息，最終得到高質量高分辨率的深度圖；采用空間池化金字塔結構有效的解決了物體尺寸不一帶來的預測準確率的問題。

技術領域

本發明屬于圖像處理計算機視覺領域，涉及采用深度預測子網絡對彩色圖進行深度預測，并采用深度增強子網絡對深度預測子網絡得到的低分辨率深度圖進行分辨率恢復，進而得到高分辨率的深度預測圖，具體涉及到一種基于深度預測和增強子網絡的高質量深度估計方法。

背景技術

真實場景的景深，即深度信息，是衡量場景第三維度的方法，廣泛應用于各種計算機視覺任務中，比如姿態估計，三維建模等。盡管能使用彩色相機輕松獲取高質量的紋理信息，但是深度信息的獲取依舊是一個極具挑戰的課題。傳統方法中，深度信息的獲取主要采用立體匹配技術，以及其他一些專業深度傳感裝置。立體匹配技術利用雙目相機采集的兩張對應的圖片進行相關性匹配和三角測量方法進行深度推斷。其他的深度獲取方式多數采用深度傳感裝置，比如Time-of-Flight(TOF)相機，微軟的Kinect相機等。這些方法盡管取得了不錯的效果，但是嚴重依賴于深度采集裝置。

隨著深度學習的發展，利用深度卷積神經網絡可以從單張彩色圖片直接獲取對應的深度信息，解決了傳統方法中過度依賴深度采集裝置的弊端，但是卻產生了新的問題，即所獲取的深度圖是低分辨率的，以及對于多尺度物體深度預測的準確性不高。在現有的卷積神經網絡中為了獲取更大的感受野幾乎都會包含一些池化層和下采樣層，導致得到的深度圖分辨率減小。在現有的方法中，為了解決場景中不同大小物體深度預測的正確率問題，普遍的方法是將彩色圖縮放到不同尺度大小分開進行深度預測得到最終的結果。盡管提高了網絡的表現，但是非常的費時。

基于以上問題，本發明設計了一個基于卷積神經網絡進行高質量深度預測的框架，該框架包括兩個部分：深度預測子網絡和深度增強子網絡。深度預測子網絡基于101層殘差網絡(K.He,X.Zhang,S.Ren,and J.Sun,“Deep residual learning for imagerecognition,”in IEEE CVPR,2016,pp.770–778.)構建，用于從彩色圖獲取深度信息。深度增強子網絡用于恢復從深度預測子網絡得到的深度圖的分辨率，從而得到高分辨率的深度圖。

發明內容

本發明旨在克服現有技術的不足，提供了一種基于深度預測和增強子網絡的高質量的深度預測方法；設計了一個基于卷積神經網絡進行高質量深度預測的框架，該框架包括兩個部分：深度預測子網絡和深度增強子網絡，其中，深度預測子網絡基于101層殘差網絡，用于從彩色圖獲取深度信息，而深度增強子網絡用于恢復從深度預測子網絡得到的深度圖的分辨率，從而得到高分辨率的深度圖。在此基礎上，采用了一種空間金字塔池化結構，解決不同大小物體深度預測的正確率問題?；诖?，通過這個卷積神經網絡進行深度預測的框架，可以得到高質量的深度信息。

本發明的具體技術方案為，一種基于深度預測子網絡和增強子網絡的高質量深度預測方法，包括下列步驟：

1)準備初始數據：初始數據包括用來訓練的彩色圖和對應的深度圖，以及用來測試的彩色圖和對應的深度圖；

2)深度預測子網絡的構建：