[發明專利]一種水上交通環境中雷達點云與影像數據的融合方法

有效

• 申請號: 202110474363.9
• 申請日: 2021-04-29
• 公開（公告）號: CN113177593B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 劉濤;李帥;雷正玲;孟威;高進;閆化然
• 申請（專利權）人: 上海海事大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06T7/13;G06T7/70
• 代理公司: 太原申立德知識產權代理事務所(特殊普通合伙) 14115
• 代理人: 郭海燕

本發明涉及多傳感器融合技術領域，公開了一種水上交通環境中雷達點云與影像數據的融合方法。首先，對影像數據進行預處理，包括將相機采集到的影像數據，生成對應的二值化影像數據；通過高斯濾波算法進行降噪處理；利用最大類間方差法進行影像分割；通過Canny算法進行邊緣提取；然后，對點云數據進行格式轉換和3DTiles金字塔空間結構切片；最后，通過提取影像數據特征明顯的角點以及對應的點云數據角點，構建匹配目標函數，并利用最小二乘法求解目標函數，得到融合矩陣，同時利用設計的自反饋調節，可以減小相較于標定算法所帶來的誤差，使融合結果更加精確。通過可視化的方式，將融合結果呈現出來，獲得目標的三維完備信息。

技術領域

本發明涉及多傳感器融合技術領域，具體涉及一種水上交通環境中雷達點云與影像數據的融合方法。

背景技術

對于水面船舶的研究，近年來逐漸被重視。激光雷達、遙感衛星、電子海圖、視頻傳感器等是船舶環境感知系統的主要元素。在船舶環境感知方面，主要有三類感知方法：雷達感知、視覺感知、聲吶感知。雷達能夠探測長遠距離物體，擁有測距能力，可以全天候工作，但是分辨率比較低，并且在水上由于環境復雜多變，檢測準確率比較低；視覺感知分辨率比較高，可以獲取到物體豐富的特征，只能近距離探測，并且無測距能力，實時性較差；聲吶感知主要是用來探測水下的物體，在水面上的應用相對較少。因而對于水上近距離航行環境研究，激光雷達和相機的融合是一個重要的研究方向。

近年來，隨著科技不斷進步，盡管單一傳感器的技術也越來越發達，但是對于海上環境的復雜情況，單個傳感器的作用有限，所獲取到的數據會因為環境影響造成較大的誤差，不能保證船舶在航行時的安全。針對該問題，目前采用的方法是：利用電子海圖或者其他的船載設備并結合駕駛員的經驗來進行目標判別。但是，這種方式通常借助單一傳感器來收集信息，將會導致信息的不完備，從而影響駕駛員目標判別的準確性，不能及時作出應對措施，導致海上交通事故的發生，造成嚴重的損失。

與單一的傳感器相比，多傳感器融合能夠增加目標判別的準確性，同時減少數據歧義。多傳感器在探測時，對于空間范圍以及數據類型，都有了一定的擴展，因而獲取的目標物體信息更加豐富，特征更加多樣，描述更加全面，因此成為當今研究發展的一個趨勢。

發明內容

針對上述問題本發明提供了一種水上交通環境中雷達點云與影像數據的融合方法。

為了達到上述目的，本發明采用了下列技術方案：

本發明提供一種水上交通環境中雷達點云與影像數據的融合方法，包括以下步驟：

步驟1，圖像數據預處理：包括將相機采集到的影像數據，生成對應的二值化影像數據；通過高斯濾波算法進行降噪處理；為凸顯目標區域，利用最大類間方差法進行影像分割；通過Canny算法進行邊緣提取；

步驟2，點云數據生成與組織：為了滿足數據融合平臺的數據傳輸以及渲染的效率，對點云數據進行格式轉換和3DTiles金字塔空間結構切片；

步驟3，影像像素地理位置標定：通過已知的影像分辨率大小和對應地理空間中的經緯度范圍，利用線性插值方法計算影像像素的經緯度位置；

步驟4，基于最小二乘方法，構建匹配目標函數并求解融合矩陣；

步驟5，自反饋調整點云模型和影像的角度誤差：由于最小二乘方法的計算誤差屬性，經過融合矩陣變換的點云數據和影像數據仍存在融合誤差。進而為了達到更精確的融合效果，通過比較點云數據軸線向量和對應影像邊線向量所構成的夾角與設定閾值的大小，迭代式構造匹配矩陣，進行自反饋調節，減小誤差；

步驟6，融合結果可視化：將最終的融合結果通過三維可視化平臺Cesium展示，獲得融合結果的可視化。

進一步，所述步驟1中二值化影像數據生成的過程為：利用加權平均的方法對影像進行灰度化處理，所述加權平均方法計算如下：