[發明專利]一種多傳感器數據的融合方法及裝置

在審

• 申請號: 202110560098.6
• 申請日: 2021-05-21
• 公開（公告）號: CN115457353A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 王思達;吳迪;朱真言
• 申請（專利權）人: 魔門塔（蘇州）科技有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G01S13/86;G01S13/66
• 代理公司: 北京科領智誠知識產權代理事務所(普通合伙) 11782
• 代理人: 陳士騫

1.一種多傳感器數據的融合方法，其特征在于，所述方法包括：

獲得目標對象在當前時刻對應的當前視覺感知結果以及當前第一雷達感知結果；

基于各當前視覺感知結果中各當前視覺感知目標對應的當前視覺感知特征以及目標視覺特征融合模型，確定各當前視覺感知目標對應的融合視覺特征，其中，所述目標視覺特征融合模型為：基于各樣本對象在各樣本時刻對應的標簽感知特征及各樣本視覺感知目標所對應樣本視覺感知特征，訓練所得的模型；

基于各當前視覺感知目標對應的融合視覺特征、所述當前第一雷達感知結果中各當前第一雷達感知目標對應的當前第一雷達感知特征以及預先建立的雷達視覺特征融合模型，確定相匹配的當前視覺感知目標及當前第一雷達感知目標，以及對應的當前融合感知特征，其中，所述預先建立的雷達視覺特征融合模型為：基于所述樣本視覺感知特征、所述標簽感知特征以及各樣本對象在各所述樣本時刻對應的各樣本第一雷達感知目標所對應的樣本第一雷達感知結果，訓練所得的模型。

2.如權利要求1所述的方法，其特征在于，所述方法還包括：

基于所述當前第一雷達感知目標對應的當前第一雷達感知特征以及預先建立的雷達目標識別模型，從所述當前第一雷達感知目標中，確定當前第一雷達真實目標及其對應的當前第一雷達感知特征，其中，所述預先建立的雷達目標識別模型為：基于所述各樣本第一雷達感知目標所對應樣本第一雷達感知特征以及所述標簽感知特征訓練所得的模型。

3.如權利要求2所述的方法，其特征在于，所述方法還包括：

獲得所述目標對象在所述當前時刻之前的N個歷史時刻對應的歷史目標的歷史特征，其中，N為正整數，所述歷史特征包括：各歷史時刻對應的相匹配的歷史視覺感知目標所對應融合視覺特征、和歷史第一雷達感知目標所對應特征融合后且優化后的特征，各歷史時刻對應的無匹配視覺感知目標的第一雷達感知目標對應的優化后特征，和/或基于各歷史時刻之前時刻所感知目標對應的感知特征預測得到的該歷史時刻未感知目標對應的預測特征；

基于各歷史目標的歷史特征、當前感知目標對應的當前感知特征以及預先建立的跟蹤模型，確定相匹配的歷史目標及當前感知目標以及匹配歷史目標的當前感知目標對應的優化后當前感知特征，其中，所述當前感知目標對應的當前感知特征包括：相匹配的當前視覺感知目標及當前第一雷達感知目標對應的當前融合感知特征，和/或無匹配當前視覺感知目標的當前第一雷達真實目標對應的雷達感知特征；所述預先建立的跟蹤模型為：基于各樣本對象在各樣本時刻對應的樣本感知目標所對應樣本感知特征，各樣本對象在各樣本時刻之前的N個時刻對應的樣本歷史目標對應的樣本歷史特征，以及各樣本對象在各樣本時刻對應的各樣本感知目標對應的標簽匹配信息，訓練所得的模型。

4.如權利要求3所述的方法，其特征在于，所述方法還包括：

基于各歷史目標的歷史特征以及預先建立的預測模型，確定各歷史目標在所述當前時刻對應的預測特征，其中，所述預先建立的預測模型為：基于各樣本對象在各樣本時刻之前的N個時刻對應的樣本歷史目標對應的樣本歷史感知結果，以及各樣本對象在各樣本時刻對應的各樣本感知目標對應的標簽匹配信息，訓練所得的模型；

基于當前感知目標的當前感知特征以及各歷史目標在所述當前時刻對應的預測特征，確定所述當前時刻對應的當前目標及其對應的當前特征。

5.如權利要求1-4任一項所述的方法，其特征在于，在所述基于各當前視覺感知結果中各當前視覺感知目標對應的視覺感知特征以及目標視覺特征融合模型，確定各當前視覺感知目標對應融合視覺特征的步驟之前，所述方法還包括：

建立所述目標視覺特征融合模型的過程，所述過程，包括：

獲得初始視覺特征融合模型；

獲得各樣本對象在各樣本時刻對應的標簽感知特征以及各樣本視覺感知目標所對應樣本視覺感知特征，其中，各標簽感知特征為：所對應樣本對象的樣本標簽雷達在所對應樣本時刻感知的標簽感知特征，各樣本視覺感知目標所對應樣本視覺感知特征為：所對應樣本對象的樣本圖像采集設備組在所對應樣本時刻感知的視覺感知特征；

利用各樣本視覺感知目標對應的樣本視覺感知特征及所述標簽感知特征，訓練所述初始視覺特征融合模型，直至所述初始視覺特征融合模型達到第一收斂條件，確定得到目標視覺特征融合模型。