[發明專利]一種數據匹配方法、裝置、電子設備以及存儲介質

在審

• 申請號: 202110994415.5
• 申請日: 2021-08-27
• 公開（公告）號: CN113705669A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 呂偉杰;楊國潤;王哲
• 申請（專利權）人: 上海商湯臨港智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06T7/33;G06T7/73
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 吳迪

1.一種數據匹配方法，其特征在于，包括：

分別對待匹配的點云數據和圖像數據進行檢測，得到所述點云數據的目標檢測結果和圖像數據的目標檢測結果；其中，所述目標檢測結果包括檢測出的目標對象的包圍框信息；

根據所述點云數據的目標檢測結果，確定所述點云數據對應的目標特征信息；根據所述圖像數據的目標檢測結果，確定所述圖像數據對應的目標特征信息；所述目標特征信息包括檢測出的目標對象的包圍框的幾何特征信息，以及所述包圍框內的目標對象的外觀特征信息；

根據所述目標特征信息，對基于所述點云數據確定的包圍框和基于所述圖像數據確定的包圍框進行匹配。

2.根據權利要求1所述的方法，其特征在于，所述根據所述點云數據的目標檢測結果，確定所述點云數據對應的目標特征信息，包括：

將所述點云數據的目標檢測結果投影至所述圖像數據中，得到所述點云數據所對應的包圍框的投影框；

根據所述投影框的頂點在所述圖像數據中的像素坐標，確定所述點云數據的幾何特征信息。

3.根據權利要求1或2所述的方法，其特征在于，所述幾何特征信息包括所述包圍框的位置信息和/或尺寸信息。

4.根據權利要求1至3中任一項所述的方法，其特征在于，所述根據所述圖像數據的目標檢測結果，確定所述圖像數據對應的目標特征信息，包括：

確定所述圖像數據中位于檢測出的包圍框內的目標圖像數據；

提取所述目標圖像數據的圖像特征，并將提取到的所述圖像特征確定為所述圖像數據對應的外觀特征信息。

5.根據權利要求1至4中任一項所述的方法，其特征在于，所述根據所述點云數據的目標檢測結果，確定所述點云數據對應的目標特征信息，包括：

確定所述點云數據中位于檢測出的包圍框內的目標點云數據；其中，所述目標點云數據包括：位于該包圍盒內目標點云的數量和/或所述目標點云在點云坐標系下的坐標信息；

基于所述目標點云數據，確定用于描述所述目標點云的整體特征的全局點云特征，并根據所述全局點云特征確定所述點云數據對應的外觀特征信息。

6.根據權利要求1至5中任一項所述的方法，其特征在于，所述根據所述目標特征信息，對基于所述點云數據確定的包圍框和基于所述圖像數據確定的包圍框進行匹配，包括：

對所述圖像數據的目標特征信息和所述點云數據的目標特征信息進行相關性計算，得到相關性計算結果；

根據所述相關性計算結果確定所述點云數據中的包圍框和所述圖像數據中的包圍框之間的匹配結果。

7.根據權利要求6所述的方法，其特征在于，所述對所述圖像數據的目標特征信息和所述點云數據的目標特征信息進行相關性計算，得到相關性計算結果，包括：

對所述圖像數據對應的幾何特征信息和所述圖像數據對應的外觀特征信息進行拼接，得到目標圖像特征；

對所述點云數據對應的幾何特征信息和所述點云數據對應的外觀特征信息進行拼接，得到目標點云特征；

對所述目標圖像特征和所述目標點云特征進行相關性運算，得到所述相關性計算結果。

8.根據權利要求6或7所述的方法，其特征在于，所述根據所述相關性計算結果確定所述點云數據中的包圍框和所述圖像數據中的包圍框之間的匹配結果，包括：

對所述相關性計算結果進行卷積計算，得到相似度矩陣，其中，所述相似度矩陣用于表征所述點云數據中的包圍框和所述圖像數據中的包圍框之間的相似程度；

對所述相似度矩陣進行取反計算，得到匹配代價矩陣；

對所述匹配代價矩陣進行二分圖匹配處理，得到所述點云數據中的包圍框和所述圖像數據中的包圍框之間的匹配結果。

9.根據權利要求1至8中任一項所述的方法，其特征在于，所述分別對待匹配的點云數據和圖像數據進行檢測，得到所述點云數據的目標檢測結果和圖像數據的目標檢測結果，包括：

通過訓練好的單模態檢測模型分別對所述點云數據和所述圖像數據進行目標檢測，得到所述點云數據的目標檢測結果和所述圖像數據的目標檢測結果。