[發明專利]一種基于單目相機的稠密深度圖計算方法

有效

• 申請號: 202010089935.7
• 申請日: 2020-02-13
• 公開（公告）號: CN111260706B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 紀剛;楊豐拓;朱慧;蔣云飛;柴琦;安帥
• 申請（專利權）人: 青島聯合創智科技有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 劉娜

1.一種基于單目相機的稠密深度圖計算方法，其特征在于，包括如下步驟：

步驟一，提取圖像上的特征點進行特征匹配，計算圖像位姿，以及圖像的最大深度和最小深度；

步驟二，利用圖像的最大深度和最小深度計算離散深度值集合；

步驟三，對每個像素測試一定數量的從離散深度值集合內隨機獲取的深度值，得到初始深度值；

步驟四，四通路傳播像素的深度；

步驟五，時序融合優化深度圖的深度；

所述步驟一的具體方法如下：

(1)單目相機拍攝的圖像在時間上連續，選取時間上相近且具有一定基線長度的兩幀圖像提取SURF特征點，計算兩幀圖像上的匹配關系，獲得一系列匹配點對；

(2)使用RANSAC算法通過二維點到二維點的匹配關系計算單應矩陣和基礎矩陣，選擇重投影誤差較小的矩陣分解出兩幀之間的相對位姿；

(3)對相對位姿轉化為相對于世界坐標系的位姿，然后使用集束調整方法進行優化，獲得圖像位姿和稀疏點云，反投影稀疏點云到圖像上計算該圖像的最大深度和最小深度。

2.根據權利要求1所述的一種基于單目相機的稠密深度圖計算方法，其特征在于，所述步驟二的具體方法如下：

離散深度值集合D計算方法如下：

D＝{d₀?d₁?…?d_l?…?d_L}，l＝{0，1，2，…，L}

d_l＝d_min+l×ε₁

L為所有可能的深度總數，是一個整數；l為深度索引，d_l為第l個深度值，精度閾值ε₁為自定義值，d_max為最大深度，d_min為最小深度。

3.根據權利要求2所述的一種基于單目相機的稠密深度圖計算方法，其特征在于，所述步驟三的具體方法如下：

使用并行計算平臺CUDA并行處理每一個像素，對每個像素測試J個從離散深度值集合內隨機獲取的深度值，具體方法如下：

選取當前幀之前計算過的一幀為參考幀，將當前幀上的像素i依據測試深度投影到參考幀上，計算匹配損失；

像素i在深度d處的匹配損失Cost(i,d)計算公式為：

其中，W為以選定像素為中心的5*5像素塊，p為像素塊中的某一像素，I_c(p)為當前幀上以像素i為中心的像素塊中某一像素的灰度值，I_r(p)為參考幀上以投影像素ri為中心的像素塊中某一像素的灰度值，和σ(I_i)分別為以像素i為中心的像素塊均值和標準差，和σ(I_ri)分別為以投影像素ri為中心的像素塊均值和標準差；

像素的投影計算過程如下：

T_rc＝T_rw×T^-1_cw

其中，T_rw和T_cw為參考幀位姿和當前幀位姿，而T_rc為當前幀變換到參考幀的位姿變換，u_i、u_ri分別為當前幀上任意一個像素i和該像素i投影到參考幀上像素ri的縱坐標，v_i、v_ri分別為當前幀上任意一個像素i和該像素i投影到參考幀上像素ri的橫坐標，d_j為第j個深度值，K為已知的相機內參矩陣，P_ri是當前幀上的一個像素i在深度d_j時對應的空間點在參考幀坐標系下的坐標值，P_ri.z為P_ri的第三維坐標；

保留匹配損失最低的深度測試值和匹配損失，設置匹配損失最低的深度測試值為當前像素的深度初始值。