[發明專利]一種基于多視紅外的稠密點云生成方法

在審

• 申請號: 202210290383.5
• 申請日: 2022-03-23
• 公開（公告）號: CN114723915A
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 高大化;李太行;朱浩男;馬賽;李文鑫;張一諾
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06N3/08;G06N3/04
• 代理公司: 西安嘉思特知識產權代理事務所(普通合伙) 61230
• 代理人: 王海棟

1.一種基于多視紅外的稠密點云生成方法，其特征在于，所述稠密點云生成方法包括：

獲取多目低分辨率紅外相機與高分辨率紅外相機的內參和外參；

使用多目低分辨率紅外相機與高分辨率紅外相機得到多目第一低分辨率紅外圖像和第一高分辨率紅外圖像；

構建數據集，所述數據集包括多目低分辨率紅外相機與高分辨率紅外相機的內參和外參、多目第二低分辨率紅外圖像和第二高分辨率紅外圖像，所述第二低分辨率紅外圖像為通過截取所述第一低分辨率紅外圖像得到，所述第二高分辨率紅外圖像為通過截取所述第一高分辨率紅外圖像得到；

將所述數據集輸入至待訓練的稠密點云生成網絡，直至損失函數收斂為止，得到訓練好的稠密點云生成網絡，所述稠密點云生成網絡包括深度估計子網絡、多目紅外圖像配準模塊和多目超分辨率子網絡；

將待生成的多目低分辨率紅外圖像輸入至訓練好的稠密點云生成網絡，得到多目低分辨率紅外圖像的視差圖和高分辨率紅外圖像，以根據多目低分辨率紅外圖像的視差圖和高分辨率紅外圖像生成稠密點云。

2.根據權利要求1所述的基于多視紅外的稠密點云生成方法，其特征在于，獲取多目低分辨率紅外相機與高分辨率紅外相機的內參和外參，包括：

使用多目低分辨率紅外相機與高分辨率紅外相機同時拍攝紅外標定靶，得到若干組標定圖像；

使用所述標定圖像進行標定得到所有相機的內參和外參。

3.根據權利要求1所述的基于多視紅外的稠密點云生成方法，其特征在于，將所述數據集輸入至待訓練的稠密點云生成網絡，直至損失函數收斂為止，得到訓練好的稠密點云生成網絡，包括：

將所述數據集輸入至所述深度估計子網絡得到多目第二低分辨率紅外圖像的視差圖，將多目第二低分辨率紅外圖像的視差圖轉換為深度圖；

基于低分辨率紅外相機和高分辨率紅外相機間的投影矩陣、多目所述第二低分辨率紅外圖像的深度圖，在多目紅外圖像配準模塊將多目所述第二低分辨率紅外圖像通過投影法進行配準，得到多目配準后的第二低分辨率紅外圖像；

將每目配準后的第二低分辨率紅外圖像和所述第二低分辨率紅外圖像對應的深度圖拼接成的2通道數據輸入至所述多目超分辨率子網絡得到高分辨率紅外圖；

通過梯度下降法優化所述損失函數，對稠密點云生成網絡的參數進行迭代更新，直至所述損失函數收斂為止，得到訓練好的稠密點云生成網絡。

4.根據權利要求3所述的基于多視紅外的稠密點云生成方法，其特征在于，所述損失函數為：

L＝λ₁L_SR+λ₂L_REP

L_REP＝∑||I_rep-I_lr||₁

其中，L表示稠密點云生成網絡的損失函數，L_SR表示超分辨率損失，L_REP表示重投影損失，表示均方誤差操作，||·||₁表示一范數操作，I_sr表示超分辨率紅外圖像，I_hr表示數據集中的高分辨率紅外圖像投影至多目紅外相機位置的重投影紅外圖像，I_rep表示低分辨率紅外圖像重投影至其他低分辨率紅外圖像位置的圖像，I_lr表示數據集中的低分辨率紅外圖像，λ₁和λ₂表示超分辨率損失和重投影損失的權重。

5.根據權利要求1所述的基于多視紅外的稠密點云生成方法，其特征在于，所述深度估計子網絡的訓練過程為：

將第三低分辨率紅外圖像和第四低分辨率紅外圖像輸入至所述深度估計子網絡中，得到所述第三低分辨率紅外圖像的視差圖；

基于所述第四低分辨率紅外圖像、所述第三低分辨率紅外圖像的視差圖對應的深度圖以及內參和外參得到所述第四低分辨率紅外圖像到所述第三低分辨率紅外圖像的投影圖；

通過梯度下降法優化所述深度估計子網絡的損失函數，對所述深度估計子網絡的參數進行迭代更新，直至所述深度估計子網絡的損失函數收斂為止，得到訓練好的深度估計子網絡。