[發明專利]基于條件變分自編碼器和幾何引導的場景深度補全方法

有效

• 申請號: 202310422520.0
• 申請日: 2023-04-20
• 公開（公告）號: CN116468768B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 魏明強;吳鵬;燕雪峰
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06T7/521
• 分類號: G06T7/521;G06N3/0455;G06N3/0464;G06F18/25;G01S17/86;G01S17/89;G01B11/24
• 代理公司: 南京有岸知識產權代理事務所(特殊普通合伙) 32757
• 代理人: 王磊

1.基于條件變分自編碼器和幾何引導的場景深度補全方法，其特征在于，包括以下步驟：

獲取自動駕駛場景下的彩色圖像，稀疏深度圖以及稠密深度圖；

設計具有先驗網絡和后驗網絡的條件變分自編碼器，將彩色圖像和稀疏深度圖輸入到先驗網絡中提取特征，再將彩色圖像、稀疏深度圖和稠密深度圖輸入到后驗網絡中提取特征；

利用相機內參或焦距將稀疏深度圖轉換成點云，再將點云上采樣模型提取到幾何空間特征，并映射回稀疏深度圖上；

采用動態圖消息傳播模塊實現圖像特征和點云特征的融合；

利用基于殘差網絡的U形編碼解碼器生成初步的深度補全圖；

將初步預測的補全深度圖輸入到置信度不確定性估計模塊，實現最終的深度補全優化。

2.根據權利要求1所述的基于條件變分自編碼器和幾何引導的場景深度補全方法，其特征在于，所述獲取自動駕駛場景下的彩色圖像和稀疏深度圖，包括：

使用彩色相機和激光雷達捕獲自動駕駛場景下的彩色圖像和稀疏深度圖；

利用Sparsity?Invariant?CNNs算法將稀疏深度圖變成稠密深度圖作為真實標簽輔助訓練。

3.根據權利要求2所述的基于條件變分自編碼器和幾何引導的場景深度補全方法，其特征在于，所述設計具有先驗網絡和后驗網絡的條件變分自編碼器，將彩色圖像和稀疏深度圖輸入到先驗網絡中提取特征，再將彩色圖像、稀疏深度圖和稠密深度圖輸入到后驗網絡中提取特征，包括：

基于ResNet結構的特征提取模塊，設計具有相同結構的先驗網絡和后驗網絡作為條件變分自編碼器；

將彩色圖像和稀疏深度圖輸入先驗網絡提取最后一層的特征圖Prior，同時，將彩色圖像、稀疏深度圖和真實標簽輸入后驗網絡提取最后一層的特征圖Posterior，然后分別計算Prior和Posterior特征圖的均值和方差，得到各自的特征的概率分布D₁和D₂，再使用Kullback-Leibler散度損失函數監督分布D₁和D₂之間的損失，使先驗網絡能夠學習到后驗網絡的真實標簽特征。

4.根據權利要求3所述的基于條件變分自編碼器和幾何引導的場景深度補全方法，其特征在于，所述利用相機內參或焦距將稀疏深度圖轉換成點云，再將點云上采樣模型提取到幾何空間特征，并映射回稀疏深度圖上，包括：

根據相機內參將稀疏深度圖像像素點(u_i,v_i)由像素坐標系轉換到相機坐標系得到三維場景的點云坐標(x_i,y_i,z_i)，形成稀疏點云數據S；

其中，(c_x,c_y)為相機的光心坐標，f_x，f_y分別為相機在x軸和y軸方向的焦距，d_i為(u_i,v_i)處的深度值，對于真實標簽深度圖，也采用上述公式生成稠密標簽點云S₁；

通過對點云S進行多次隨機采樣，獲得不同數量的點云集合，針對每個點云集合，利用KNN最鄰近節點算法聚合每個點周圍的16個最近點，輸入到幾何感知神經網絡中提取該點的局部幾何特征；

將每個點提取到的稀疏點云特征與原始點云坐標(x_i,y_i,z_i)相加得到點云編碼特征Q，將Q輸入到四倍上采樣的多層感知機網絡中得到預測的稠密點云S₂，利用ChamferDistance損失函數計算真實稠密點云S₁和預測的稠密點云S₂之間的損失值，以此監督網絡的訓練，CD損失具體的計算公式如下：

其中，第一項表示S₁中任意一點x到S₂的最小距離之和，第二項表示S₂中任意一點y到S₁的最小距離之和。