[發明專利]深度估計方法和裝置、電子設備、程序和介質

有效

• 申請號: 201810103195.0
• 申請日: 2018-02-01
• 公開（公告）號: CN108335322B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 羅越;任思捷
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/30
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

本發明實施例公開了一種深度估計方法和裝置、電子設備、程序和介質，其中，方法包括：以單張圖片作為雙目圖像中的第一圖像，經第一神經網絡，基于所述第一圖像獲取所述雙目圖像中的第二圖像；經第二神經網絡，通過對所述第一圖像與所述第二圖像進行雙目立體匹配，獲取所述第一圖像對應的深度信息。本發明實施例基于單張圖片實現了深度估計，而不需要雙目相機，避免了雙目相機產生的額外硬件開銷，降低了成本；并且，可以避免雙目相機設定不準確導致獲得的深度信息錯誤，提高了深度估計的準確性。

技術領域

本發明涉及計算機視覺技術，尤其是一種深度估計方法和裝置、電子設備、程序和介質。

背景技術

深度估計是計算機視覺領域內的重要問題。準確的深度估計方法在許多領域，例如自動駕駛、三維場景重建以及增強現實等領域，有著重要的利用價值。

在卷積神經網絡發展的驅動下，深度估計的相關技術得到了快速發展。

發明內容

本發明實施例提供一種深度估計技術方案。

根據本發明實施例的一個方面，提供的一種深度估計方法，包括：

以單張圖片作為雙目圖像中的第一圖像，經第一神經網絡，基于所述第一圖像獲取所述雙目圖像中的第二圖像；

經第二神經網絡，通過對所述第一圖像與所述第二圖像進行雙目立體匹配，獲取所述第一圖像對應的深度信息。

可選地，在本發明上述各實施例的方法中，經第一神經網絡，基于所述第一圖像獲取所述雙目圖像中的第二圖像，包括：

經第一神經網絡對所述第一圖像進行處理，輸出N個通道的視差概率圖；其中，每個通道的視差概率圖表示所述第一圖像上像素向第一水平方向偏移i個視差的概率，i＝0,1，…，N-1，N的取值為大于1的整數；

根據所述N個通道的視差概率圖，將所述第一圖像分別向第一水平方向偏移i個像素，得到N張偏移圖；

將所述N張偏移圖中的各偏移圖分別點乘對應通道的視差概率圖，得到N個點乘結果；

將所述N個點乘結果基于像素進行疊加，得到所述第二圖像。

可選地，在本發明上述各實施例的方法中，所述經第一神經網絡對所述第一圖像進行處理，輸出N個通道的視差概率圖，包括：

分別通過第一神經網絡中的兩個或以上網絡深度的網絡層對所述第一圖像進行特征提取，獲得兩個或以上尺度的特征圖；

基于所述兩個或以上尺度的特征圖分別獲取兩個或以上分辨率的、N個通道的初步視差概率圖；

分別針對每個通道，將所述兩個或以上分辨率的初步視差概率圖放大至所述第一圖像的分辨率下進行疊加，得到所述N個通道的視差概率圖。

可選地，在本發明上述各實施例的方法中，所述第一圖像中對應前景對象的像素在所述N個通道的視差概率圖中的對應像素位置，在對應較大視差的通道的視差概率圖中具有較大的概率值；所述第一圖像中對應背景對象的像素在所述N個通道的視差概率圖中的對應像素位置，在對應較小視差的通道的視差概率圖中具有較大的概率值。

可選地，在本發明上述各實施例的方法中，通過對所述第一圖像與所述第二圖像進行雙目立體匹配，獲取所述第一圖像對應的深度信息，包括：

獲取用于表示所述雙目圖像中一個圖像相對于另一個圖像中像素的位置關系的相關系數；所述雙目圖像中一個圖像包括所述第一圖像或所述第二圖像，所述另一個圖像對應包括所述第二圖像或所述第一圖像；

基于所述另一個圖像與所述相關系數，生成所述第一圖像與所述第二圖像的視差圖；

基于所述視差圖獲取所述第一圖像對應的深度信息。