[發明專利]單目圖像的深度恢復方法及裝置、計算機設備

有效

• 申請號: 201810502947.0
• 申請日: 2018-05-23
• 公開（公告）號: CN108932734B
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 鮑虎軍;章國鋒;蔣沁宏;石建萍
• 申請（專利權）人: 浙江商湯科技開發有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T5/00
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 王軍紅;張穎玲

1.一種單目圖像的深度恢復方法，其特征在于，所述方法包括：

對所述單目圖像進行特征提取，得到所述單目圖像的特征圖像，所述特征圖像包括場景結構信息和深度尺寸信息；

對所述特征圖像進行解耦，得到所述特征圖像的場景結構圖，所述場景結構圖包括所述場景結構信息，所述場景結構信息包括所述單目圖像中各個物體的結構信息以及物體之間的相對位置關系；

將所述特征圖像和所述場景結構圖進行梯度感知處理，得到區域增強的特征圖像；

根據所述區域增強的特征圖像進行深度估計，得到所述單目圖像的深度圖像。

2.根據權利要求1所述的方法，其特征在于，所述對所述單目圖像進行特征提取，得到所述單目圖像的特征圖像，包括：

將所述單目圖像輸入第一神經網絡進行特征提取，得到所述單目圖像的特征圖像。

3.根據權利要求2所述的方法，其特征在于，所述第一神經網絡執行的特征提取，包括：

對所述單目圖像進行多尺度特征提取，得到所述單目圖像的多尺度特征信息；

對所述多尺度特征信息進行殘差調整，得到調整后的多尺度特征信息；

對所述調整后的多尺度特征信息進行特征融合，得到所述特征圖像。

4.根據權利要求1所述的方法，其特征在于，所述對所述特征圖像進行解耦，得到所述特征圖像的場景結構圖，包括：

將所述特征圖像輸入第二神經網絡進行解耦，得到所述特征圖像的場景結構圖。

5.根據權利要求4所述的方法，其特征在于，在將所述特征圖像輸入第二神經網絡之前，還包括：

預先建立所述第二神經網絡，其中，所述第二神經網絡至少包括一卷積層和一線性整流函數。

6.根據權利要求1所述的方法，其特征在于，所述將所述特征圖像和所述場景結構圖進行梯度感知處理，得到區域增強的特征圖像，包括：

將所述特征圖像和所述場景結構圖輸入第三神經網絡進行梯度感知處理，得到區域增強的特征圖像。

7.根據權利要求6所述的方法，其特征在于，所述第三神經網絡執行的梯度感知處理，包括：

根據所述場景結構圖得到所述場景結構圖的實際梯度圖像；

根據所述特征圖像得到所述特征圖像對應的預測梯度圖像；

根據所述實際梯度圖像和所述預測梯度圖像進行相似度分析，得到掩模；

將所述掩模和所述特征圖像進行殘差濾波處理，得到區域增強的特征圖像。

8.根據權利要求7所述的方法，其特征在于，所述根據所述實際梯度圖像和所述預測梯度圖像進行相似度分析，得到掩模，包括：

計算所述實際梯度圖像和所述預測梯度圖像之間的相似度；

將相似度大于預設閾值的實際梯度圖像作為所述掩模。

9.根據權利要求7所述的方法，其特征在于，所述將所述掩模和所述特征圖像進行殘差濾波處理，包括：

計算所述掩模和所述特征圖像的乘積，得到融合圖像；

將所述融合圖像進行預處理，得到預處理后的圖像，其中所述預處理依次包括：卷積計算、線性整流計算、卷積計算；

將所述特征圖像和所述預處理后的圖像進行疊加，得到區域增強的特征圖像。

10.根據權利要求1所述的方法，其特征在于，所述根據所述區域增強的特征圖像進行深度估計，得到所述單目圖像的深度圖像，包括：

對所述區域增強的特征圖像進行卷積計算，得到所述單目圖像的深度圖像。