[發明專利]一種單視彩色圖像深度圖獲得方法及裝置

有效

• 申請號: 201910703005.3
• 申請日: 2019-07-31
• 公開（公告）號: CN110415284B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 陳雪錦;陳嘯天
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T5/50;G06N3/08;G06N3/04;G06V10/52;G06V10/77
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張建

本發明公開了一種單視彩色圖像深度圖獲得方法及裝置，可以從輸入的一張單視角彩色圖像中提取預設尺度隊列中的多個尺度下的初始特征圖；對多個尺度中的任一尺度：在該尺度下將提取的多個尺度下的初始特征圖進行融合，獲得該尺度下的融合特征圖；根據多個尺度中的最粗尺度下的初始特征圖和所述最粗尺度下的融合特征圖獲得所述最粗尺度下的深度圖；對多個尺度中的除所述最粗尺度外的任一尺度：根據該尺度下的融合特征圖獲得該尺度下的深度殘差圖，將該尺度下的深度殘差圖與預設尺度隊列中上一尺度下的深度圖融合后獲得該尺度下的深度圖；將所述多個尺度中最細尺度下的深度圖確定為單視角彩色圖像的深度圖。本發明在定量和定性上均實現了最優的性能。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種單視彩色圖像深度圖獲得方法及裝置。

背景技術

最近幾年，卷積神經網絡已經在各種計算機視覺任務上已經取得了顯著的效果，Eigen等人(David Eigen et al.,Depth map prediction from a single image using amulti-scale deep network.In Advances in Neural Information ProcessingSystems,2014.)是第一個將卷積神經網絡用于單目深度估計上的，首先通過粗網絡估計場景的全局結構，然后細網絡利用CNN的底層特征的局部信息對全局結構進行優化，超越了幾乎所有的傳統算法。之后，隨著全卷積網絡在語義分割任務中被提出(Jonathan Long etal.,Fully convolutional networks for semantic segmentation.In IEEE Conferenceon Computer Vision and Pattern Recognition,2015.)，該網絡被廣泛的用于包括深度估計在內的許多其他的稠密的計算機視覺任務。

Laina等人是第一個利用全卷積神經網絡的架構預測深度，其利用ResNet作為編碼器的骨架網絡，用于從圖像中提取特征，并利用上投影塊恢復出高分辨率下的深度圖，顯著改善了預測深度圖的精度(IroLaina et al.,Deeper depth prediction with fullyconvolutional residual networks.In 3DV,IEEE,2016.)。同時為了改善預測深度圖的局部細節，也有大量方法被提出。Li等人利用條件隨機場作為深度估計的后處理步驟(Bo Liet al.,Depth and surface normal estimation from monocular images usingregression on deep features and hierarchical crfs.In IEEE Conference onComputer Vision and Pattern Recognition,2015.)。Xu等人在卷積神經網絡中整合條件隨機場預測深度(Dan Xu et al.,Multi-scale continuous CRFs as sequential deepnetworks for monocular depth estimation.In IEEE Conference on Computer Visionand Pattern Recognition,2017.)。隨后，又在其拓展工作中將注意力機制整合到該網絡中(Dan Xu et al.,Structured attention guided convolutional neural fields formonocular depth estimation.In IEEE Conference on Computer Vision and PatternRecognition,2018.)，這些方法均使得預測的深度圖得到了改善。Fu等人利用多尺度的架構去緩解由于池化操作和帶步長的卷積操作所引起的細節丟失(Huan Fu et al.,Deepordinal regression network for monocular depth estimation.In IEEE Conferenceon Computer Vision and Pattern Recognition,2018.)。Hao等人利用膨脹卷積也同樣緩解了細節丟失的問題(ZhixiangHao et al.,Detail preserving depth estimation froma single image using attention guided networks.In 3DV,IEEE,2018.)，Hu等人提出一個有效的多尺度融合模塊明顯的改善了預測深度圖的邊緣(Junjie Hu et al.,Revisiting single image depth estimation:Toward higher resolution maps withaccurate object boundaries.In IEEE Winter Conference on Applications ofComputer Vision,2019.)。為了更好地恢復結構細節，一些方法也提出了一些新穎的損失函數去顯式地約束場景幾何。Zheng等人提出序數敏感歸一化損失函數用于約束全局布局(Kecheng Zheng et al.,LA-Net:Layout-aware dense network for monocular depthestimation.In ACM Multimedia Conference on Multimedia Conference,2018.)。相似的，Fu等人提出利用序數回歸損失函數有效的改善了預測精度(Huan Fu et al.,Deepordinal regression network for monocular depth estimation.In IEEE Conferenceon Computer Vision and Pattern Recognition,2018.)。Hu等人提出在損失函數中融合深度，梯度和法向顯著改善了預測精度(Junjie Hu et al.,Revisiting single imagedepth estimation:Toward higher resolution maps with accurate objectboundaries.In IEEE Winter Conference on Applications of Computer Vision,2019.)。