[發明專利]圖像深度信息單目估計方法、設備及可讀存儲介質

在審

• 申請號: 202110554113.6
• 申請日: 2021-05-20
• 公開（公告）號: CN113192149A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 王飛;許強;郭宇;張秋光;張雪濤
• 申請（專利權）人: 西安交通大學
• 主分類號: G06T9/00
• 分類號: G06T9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 房鑫

本發明公開了一種圖像深度信息單目估計方法、設備及存儲介質，包括，將待估計圖像作為預訓練好的自監督通道混合網絡的輸入；其中，利用編碼器模塊對待估計圖像進行編碼，得到若干不同層次的語義特征圖；若干語義特征圖的語義層次不同，且分辨率不同；利用通道混合模塊將若干不同層次語義特征圖在通道方向進行混合、分散，得到不同分辨率的融合特征；利用解碼器模塊分別對不同分辨率的融合特征進行解碼，得到對應分辨率的深度估計，即得到待估計圖像的深度圖像；本發明通過解碼器模塊對融合特征進行解碼，獲得待估計圖像的深度圖像，深度圖具有更可靠的局部和全局信息；本發明的深度估計效果相較于現有不包含通道混合模塊的基準方法得到較大提升。

技術領域

本發明屬于3D計算機視覺技術領域，特別涉及一種圖像深度信息單目估計方法、設備及可讀存儲介質。

背景技術

深度估計是計算機視覺領域一個非常重要的問題，它廣泛應用于自動駕駛和虛擬現實等領域。為了解決這個問題，基于單目相機、多目相機和雷達深度傳感器等多種傳感器配置的方法被提出來；其中，基于單目相機的深度估計方法配置最為簡單，但是因為基于單目的方法存在尺度模糊性質，該類方法也最有難度。現階段深度估計方法表現最好的是基于深度學習的有監督訓練方法，其依賴大量的有深度真值標簽的數據，然而精確的深度真值獲取成本較高，且特定場景下的數據訓練的模型很難在不同的場景下適應，因此很難得到廣泛應用。目前，基于圖像對或者視頻的自監督單目深度估計方法取得了很大的進步，不需要有標簽的數據來進行訓練，全部的監督信息來自于圖像紋理信息和幾何約束，因此可以廣泛地利用大量的無標簽數據集來進行訓練，且在不同場景下可以很好地適應。

具體地，自監督的單目深度估計方法在測試時只需要單張圖片，訓練時可以分為兩類場景：單目視頻序列和立體圖像對；二者的核心思想都是通過估計的深度圖在不同的視角下建立像素間的對應關系；基于單目視頻序列的訓練方法需要同時估計深度圖以及相機運動。而基于立體圖像對的方法，因為雙目相機間的相對位置關系已經提前標定，因此只需要估計深度圖即可，該方法相較于基于視頻序列方法表現也更加優越。

隨著深度學習技術的迅速發展，基于神經網絡的自監督單目深度估計的方法相比傳統方法，性能有了很大提升；考慮基于立體圖像對的訓練方法，Poggi等人提出從三相機配置的圖像對中學習，中間圖像的深度估計分別依賴和左右視圖的幾何約束關系；Tosi等人提出將傳統方法如SGM的的估計結果來輔助監督網絡的訓練，其中SGM的估計結果用左右視圖一直性約束來優化；Zhu等人提出用語義分割的結果來引導深度圖輪廓的優化；Gonzalez等人采用鏡像遮擋模塊來估計遮擋區域，有效解決了遮擋對網絡訓練的干擾；這些方法大多利用如Resnet的網絡作為編碼器，提取圖像的多尺度和層次的特征，再利用解碼器從這些特征中得到深度估計。上述方法在融合不同層次特征時只是進行簡單的相加或者在通道上疊加，沒有充分利用到不同層次特征間的優勢和互相補充關系，使得網絡的表現沒有更進一步。

為了解決group convolution中不同組之間特征的難以交流的問題，提出了channel shuffle的操作，對group convolution后的特征在通道方向進行重組；Su等人為了解決人體位姿估計中遮擋等困難場景下關鍵點檢測問題，利用channel shuffle融合了不同特征，增強了各個層次特征的交流，使得檢測精度得以提升。

目前，在深度估計領域，還沒有方法嘗試探索如何更有效的融合深度估計網絡中不同層次的特征，增強特征的表達能力。

發明內容

針對現有技術中存在的技術問題，本發明提供了一種圖像深度信息單目估計方法、設備及可讀存儲介質，以解決現有的深度估計方法，對不同層次的特征未能進行充分融合，無法利用不同層次特征間的優勢互補，對深度估計網絡表現影響較大，深度信息估計結果精度較低的技術問題。

為達到上述目的，本發明采用的技術方案為：

本發明提供了一種圖像深度信息單目估計方法，包括以下步驟：