[發明專利]一種多傳感器數據的融合方法及裝置

在審

• 申請號: 202110560098.6
• 申請日: 2021-05-21
• 公開（公告）號: CN115457353A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 王思達;吳迪;朱真言
• 申請（專利權）人: 魔門塔（蘇州）科技有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G01S13/86;G01S13/66
• 代理公司: 北京科領智誠知識產權代理事務所(普通合伙) 11782
• 代理人: 陳士騫

本發明實施例公開一種多傳感器數據的融合方法及裝置，該方法包括：獲得當前視覺感知結果及當前第一雷達感知結果；基于各當前視覺感知結果中各當前視覺感知目標對應的視覺感知特征及目標視覺特征融合模型，確定各當前視覺感知目標對應融合視覺特征；基于各當前視覺感知目標對應的融合視覺特征、當前第一雷達感知結果中各當前第一雷達感知目標對應的當前第一雷達感知特征以及預先建立的雷達視覺特征融合模型，確定相匹配的當前視覺感知目標及當前第一雷達感知目標，以及對應的當前融合感知特征，以實現對多傳感器數據的準確融合。

技術領域

本發明涉及自動駕駛技術領域，具體而言，涉及一種多傳感器數據的融合方法及裝置。

背景技術

在自動駕駛方案中，為了保證車輛在開放行駛環境中可以做出準確的決策，需要自車能感知周圍的目標并且感知目標的大小、位置以及速度等特征信息，以便即時調整自車的行為。相應的，為了對周圍環境的感知結果更加全面和準確，通常會為車輛部署不同類型的傳感器，以便充分結合不同傳感器的優勢得到更加準確的結果。并且為了增加車輛的感知范圍，同一種傳感器也會部署多個，例如在車輛的前后左右各方向部署圖像采集設備。在上述部署方案下，傳感器的感知范圍就會產生重疊，即同一個目標會被不同的傳感器感知到，即同一時刻針對同一目標生成多個感知結果，實際上一個目標在一個時刻存在一個感知結果即可。那么，如何將不同傳感器的感知結果融合成一個目標感知結果至關重要。

目前，將不同傳感器的感知結果融合成一個目標感知結果的過程，具體為：獲得視覺感知結果以及毫米波雷達感知結果，基于視覺感知結果中各視覺感知目標對應的速度和位置，毫米波雷達感知結果中各雷達感知目標對應的速度和位置，以及預先設置的匹配閾值，確定相互匹配的視覺感知目標和雷達感知目標；并基于預設融合規則以及相互匹配的視覺感知目標對應的速度和位置和雷達感知目標對應的速度和位置，確定融合后的速度和位置，實現將不同傳感器的感知結果融合成一個目標感知結果。

上述過程中，視覺感知目標和雷達感知目標匹配過程以及相應的速度和位置的融合過程均是通過人為設置的閾值和規則來確定的，該過程涉及較多的參數的設計和選取，不便于后續的維護和擴展，且參數的設計和選取不當的情況下，易出現無匹配以及融合結果不準確的情況。

發明內容

本發明提供了一種多傳感器數據的融合方法及裝置，以實現對多傳感器數據的準確融合。具體的技術方案如下：

第一方面，本發明實施例提供了一種多傳感器數據的融合方法，所述方法包括：

獲得目標對象在當前時刻對應的當前視覺感知結果以及當前第一雷達感知結果；

基于各當前視覺感知結果中各當前視覺感知目標對應的當前視覺感知特征以及目標視覺特征融合模型，確定各當前視覺感知目標對應的融合視覺特征，其中，所述目標視覺特征融合模型為：基于各樣本對象在各樣本時刻對應的標簽感知特征及各樣本視覺感知目標所對應樣本視覺感知特征，訓練所得的模型；

基于各當前視覺感知目標對應的融合視覺特征、所述當前第一雷達感知結果中各當前第一雷達感知目標對應的當前第一雷達感知特征以及預先建立的雷達視覺特征融合模型，確定相匹配的當前視覺感知目標及當前第一雷達感知目標，以及對應的當前融合感知特征，其中，所述預先建立的雷達視覺特征融合模型為：基于所述樣本視覺感知特征、所述標簽感知特征以及各樣本對象在各所述樣本時刻對應的各樣本第一雷達感知目標所對應的樣本第一雷達感知結果，訓練所得的模型。

第二方面，本發明實施例提供了一種多傳感器數據的融合裝置，所述裝置包括：

第一獲得模塊，被配置為獲得目標對象在當前時刻對應的當前視覺感知結果以及當前第一雷達感知結果；