[發明專利]一種基于激光視覺融合和深度學習的防撞方法、系統

有效

• 申請號: 202110054308.4
• 申請日: 2021-01-15
• 公開（公告）號: CN113173502B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 羅永祥;嚴志展;陳志輝;劉鍵濤;魏秋新
• 申請（專利權）人: 福建電子口岸股份有限公司
• 主分類號: B66C13/16
• 分類號: B66C13/16;B66C13/46;B66C15/04;G06T7/00;G06T7/33;G06T7/70;G06T7/80
• 代理公司: 廈門市首創君合專利事務所有限公司 35204
• 代理人: 連耀忠;王婷婷

1.一種基于激光視覺融合和深度學習的防撞方法，其特征在于，包括如下步驟：

利用設備上設置的攝像頭獲取圖像信息，利用設備上設置的面陣激光傳感器獲取3D點云數據；

將圖像信息和3D點云數據進行配準，得到配準后的圖像數據和3D點云數據；

利用配準后的圖像數據和3D點云數據生成RGBD圖像，分為訓練集和測試集；

采用訓練集的RGBD圖像對3D目標檢測模型進行訓練，得到訓練好的3D目標檢測模型；

將測試集的RGBD圖像輸入訓練好的3D目標檢測模型，利用目標檢測方法，對視野范圍內的障礙物進行類別檢測并計算物體距離龍門吊最近端的距離；

根據計算出的物體類別和距離，確定是否進行減速、停止操作；

采用訓練集的RGBD圖像對3D目標檢測模型進行訓練，得到訓練好的3D目標檢測模型，具體包括：

調整訓練集的RGBD圖像的尺寸；

對圖像進行直方圖均衡操作，得到直方圖均衡后的圖像；

隨機在直方圖均衡后的圖像加白噪聲z～N(0,σ²)；

輸入到E-Yolo模型進行梯度回歸訓練，得到訓練好的E-Yolo模型；

將測試集輸入訓練好的3D目標檢測模型，利用目標檢測方法，對視野范圍內的障礙物進行類別檢測并計算物體距離龍門吊最近端的距離，具體包括：

根據調整后的訓練集的RGBD圖像的尺寸，調整測試集的RGBD圖像的尺寸；

對圖像進行直方圖均衡操作，得到直方圖均衡后的圖像；

輸入到訓練好的E-Yolo模型并固定模型的batchnorm和dropout層，輸出結果為目標檢測物體的坐標點；

計算目標檢測物體的坐標點距離龍門吊的距離，取最小的距離作為輸出距離。

2.根據權利要求1所述的一種基于激光視覺融合和深度學習的防撞方法，其特征在于，將圖像信息和3D點云數據進行配準，得到配準后的圖像數據和3D點云數據；配準操作具體包括：

通過對基準雷達進行移動建圖；

將其余雷達數據對基準雷達的重建地圖進行迭代配準與計算；

根據一致性假設減少匹配誤差，直到算法收斂且滿足標定矩陣剛性不變特性；

根據一致性算法得出最終標定矩陣。

3.根據權利要求1所述的一種基于激光視覺融合和深度學習的防撞方法，其特征在于，利用配準后的圖像數據和3D點云數據生成RGBD圖像，具體包括：

利用采樣插值獲取RGB圖像中每個點的深度信息；

其中，f(x,y)為點Q(x,y)的深度值，Q₁₁(x₁,y₁)，Q₁₂(x₁,y₂)，Q₂₁(x₂,y₁)，Q₂₂(x₂,y₂)為Q(x,y)相鄰值。