[發明專利]多傳感數據融合方法、多源融合感知系統和計算機設備

在審

• 申請號: 202011594140.8
• 申請日: 2020-12-29
• 公開（公告）號: CN114758200A
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 關喜嘉;王鄧江;王亞軍;鄧永強
• 申請（專利權）人: 北京萬集科技股份有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V20/54;G06K9/62;G06N20/00
• 代理公司: 北京華進京聯知識產權代理有限公司 11606
• 代理人: 喬改利

1.一種多傳感數據融合方法，其特征在于，包括如下步驟：

獲取同一時刻、同一場景下的點云數據和視頻數據；

對所述點云數據進行目標檢測得到第一檢測結果，對所述視頻數據進行目標檢測得到第二檢測結果；

對所述第一檢測結果與所述第二檢測結果進行融合，得到初始融合結果；

判斷所述初始融合結果是否需要修正，若判斷結果為需要修正，則根據判斷結果的修正類型修正所述初始融合結果，輸出數據融合結果；其中，所述修正類型包括：多目標誤判修正，置信度修正，目標顏色修正，漏檢修正，虛檢修正以及軌跡修正中的一種或幾種。

2.根據權利要求1所述的方法，其特征在于，所述對所述第一檢測結果與所述第二檢測結果進行融合，得到初始融合結果，包括：

根據外參矩陣將所述第一檢測結果中的點云目標從點云坐標系轉換至三維坐標系，并根據內參矩陣將所述點云目標從所述三維坐標系轉換至所述第二檢測結果中視頻目標所在的二維坐標系；

根據所述二維坐標系中的點云目標和所述視頻目標確定所述初始融合結果中的目標物；其中，信息匹配概率大于匹配閾值的所述點云目標和所述視頻目標為同一所述目標物，所述信息匹配概率用于表征所述點云目標與所述視頻目標的位置重疊度。

3.根據權利要求2所述的方法，其特征在于，所述修正類型為所述多目標誤判修正，所述根據判斷結果的修正類型修正所述初始融合結果，包括：

若所述初始融合結果中存在目標物對應的一個點云目標與多個視頻目標的信息匹配概率均大于第一匹配閾值的情況，則將在所述初始融合結果中的所述多個視頻目標分別標記為不同的目標物；

若所述初始融合結果中存在目標物對應的一個視頻目標與多個點云目標的信息匹配概率均大于第二匹配閾值的情況，則將在所述初始融合結果中的所述多個點云目標分別標記為不同的目標物。

4.根據權利要求1所述的方法，其特征在于，所述修正類型為置信度修正，所述根據判斷結果的修正類型修正所述初始融合結果，包括：

獲取所述初始融合結果包括的目標物的第一置信度和第二置信度，所述第一置信度為根據所述點云數據確定的所述目標物的類別的置信度，所述第二置信度為根據所述視頻數據確定的所述目標物的類別的置信度；

將所述目標物的第一置信度和第二置信度進行轉換處理，將轉換處理后得到的兩個置信度中較大的置信度所對應的類別作為所述目標物的類別。

5.根據權利要求1所述的方法，其特征在于，所述修正類型為所述目標顏色修正，所述根據判斷結果的修正類型修正所述初始融合結果，包括：

檢測所述初始融合結果包括的目標物在所述第二檢測結果中是否存在對應的視頻目標；

若所述初始融合結果包括的目標物在所述第二檢測結果中存在對應的視頻目標，則基于所述視頻數據獲取所述對應的視頻目標的顏色信息，并將所述顏色信息作為所述目標物的顏色信息。

6.根據權利要求1所述的方法，其特征在于，所述修正類型為所述漏檢修正，所述根據判斷結果的修正類型修正所述初始融合結果，包括：

若所述初始融合結果包括的目標物在所述第一檢測結果中存在對應的點云目標，在所述第二檢測結果中不存在對應的視頻目標，則將所述點云目標的第一檢測結果映射至所述第二檢測結果中視頻目標所在的二維坐標系中，作為所述目標物的第二檢測結果；

若所述初始融合結果包括的目標物在所述第二檢測結果中存在對應的視頻目標，在所述第一檢測結果中不存在對應的點云目標，則將所述視頻目標的第二檢測結果通過互學習模型轉換至所述第一檢測結果中點云目標所在的點云坐標系中，作為所述目標物的第一檢測結果。