[發明專利]基于深度學習的高光譜和激光雷達4D防抖融合方法及系統

在審

• 申請號: 202210394912.6
• 申請日: 2022-04-15
• 公開（公告）號: CN114882329A
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 何賽靈;馬騰飛;付帥
• 申請（專利權）人: 浙江大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06T7/80;G06T3/00;G01S7/497;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林松海

本發明公開了一種基于深度學習的高光譜和激光雷達4D防抖融合方法及系統。所述方法：1）激光雷達采集得到的點云首先通過已知內參進行3D?2D空間變換，生成深度圖；2）該深度圖和高光譜圖像被一起輸入進HLFN（高光譜相機和激光雷達融合網絡）中，HLFN分別對高光譜和深度圖進行特征提取并對二者進行特征融合，根據融合后的特征計算出旋轉向量r和平移向量t；3）將旋轉向量r變換成旋轉矩陣R，最終生成一個預測變換矩陣T；4）原始點云再通過預測變換矩陣T進行3D?3D空間變換，生成校正點云；5）校正點云與高光譜圖像處于同一坐標系下，融合生成最終的4D融合數據。本發明可實現在設備機械抖動條件下快速精確采集高光譜形貌4D融合信息，可應用于多領域。

技術領域

本發明涉及高光譜與激光雷達數據融合領域，特別是涉及一種基于深度學習的高光譜和激光雷達4D防抖融合方法及系統。

背景技術

在智能自動化設備中，為了克服單一傳感器的信息維度感知缺陷，越來越多的應用需要多傳感器融合技術。

在智能駕駛和智能機器人技術中，高光譜相機和激光雷達的數據融合技術備受矚目。一方面，高光譜相機可以同時采集一個目標的多個波段的光譜信息，其豐富的光譜特征為目標識別、語義分割以及物質屬性分析和分類等奠定了堅實基礎；另一方面，激光雷達可以獲得目標精確的3D點云數據，對目標的距離、形狀、大小和體積等數據的感知具有重要價值。

但目前高光譜圖像和激光雷達的4D信息融合技術大都是基于標定板進行外參標定實現的，需要繁雜的標定步驟和大量的人力付出，這限制了高光譜相機和激光雷達之間數據融合的效率。同時，現有技術對高光譜相機和激光雷達之間的外參大都是一次標定，在后續使用過程中標定參數不再改變，這導致了其在長期抖動環境下因實際外參改變而帶來的融合精度下降問題。

發明內容

為了克服現有技術的不足，本發明的目的是提供一種基于深度學習的高光譜和激光雷達4D防抖融合方法及系統。本發明可實現在設備機械抖動條件下快速精確采集高光譜形貌4D融合信息，有助于目標識別、語義分割、物質屬性分析、精確定位等應用。

一種基于深度學習的高光譜和激光雷達4D防抖融合方法，步驟如下：

1）激光雷達采集得到的點云首先通過已知內參進行3D-2D空間變換，生成相應的深度圖；

2）該深度圖和高光譜圖像被一起輸入進HLFN（高光譜相機和激光雷達融合網絡）中，HLFN分別對高光譜和深度圖進行特征提取并對二者進行特征融合，根據融合后的特征計算出旋轉向量r和平移向量t；

3）將旋轉向量r通過羅德里格斯公式(SE(3))變換成旋轉矩陣R，最終生成一個預測變換矩陣T，該矩陣指明了高光譜相機與激光雷達之間的外參關系；

4）原始點云再通過預測變換矩陣T進行3D-3D空間變換，生成校正點云；

5）校正點云與高光譜圖像處于同一坐標系下，二者融合生成最終的4D融合數據。

所述HLFN訓練方法，步驟如下：

2.1）用真實變換矩陣對點云進行3D-3D空間變換，并與高光譜圖像融合，得到對照點云、對照深度圖和對照光譜圖；

2.2）將點云和高光譜圖像按照所述的步驟1）至步驟3）計算得出預測變換矩陣；

2.3）用預測變換矩陣對點云進行3D-3D空間變換，并與高光譜圖像融合，得到校正點云、校正深度圖和校正光譜圖；

2.4）對照點云和校正點云之間形成幾何損失約束，對照深度圖和校正深度圖之間形成光度損失約束，對照光譜圖和校正光譜圖之間形成光譜損失約束；

2.5）最終的損失是2.4）中所述三個損失之和，并由三個超參數平衡它們；

2.6）通過反向傳播，HLFN網絡參數不斷迭代訓練，使損失函數最小化。

步驟2.1）中真實變換矩陣由高光譜相機和激光雷達使用傳統外參標定方法獲得。