[發(fā)明專利]一種數(shù)據(jù)匹配方法、裝置、電子設(shè)備以及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110994415.5
• 申請(qǐng)日: 2021-08-27
• 公開（公告）號(hào): CN113705669A
• 公開（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: 呂偉杰;楊國潤;王哲
• 申請(qǐng)（專利權(quán)）人: 上海商湯臨港智能科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/46;G06T7/33;G06T7/73
• 代理公司: 北京中知恒瑞知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 吳迪

本公開提供了一種數(shù)據(jù)匹配方法、裝置、電子設(shè)備以及存儲(chǔ)介質(zhì)，其中，該方法包括：分別對(duì)待匹配的點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行檢測，得到點(diǎn)云數(shù)據(jù)的目標(biāo)檢測結(jié)果和圖像數(shù)據(jù)的目標(biāo)檢測結(jié)果；根據(jù)點(diǎn)云數(shù)據(jù)的目標(biāo)檢測結(jié)果，確定點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)分別對(duì)應(yīng)的目標(biāo)特征信息；根據(jù)圖像數(shù)據(jù)的目標(biāo)檢測結(jié)果，確定圖像數(shù)據(jù)對(duì)應(yīng)的目標(biāo)特征信息；目標(biāo)特征信息包括檢測出的目標(biāo)對(duì)象的包圍框的幾何特征信息，以及包圍框內(nèi)的目標(biāo)對(duì)象的外觀特征信息；根據(jù)目標(biāo)特征信息，對(duì)點(diǎn)云數(shù)據(jù)中的包圍框和所述圖像數(shù)據(jù)中的包圍框進(jìn)行匹配。本公開實(shí)施例通過將圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)進(jìn)行結(jié)合來檢測3D目標(biāo)，可以提高3D目標(biāo)的檢測準(zhǔn)確性，進(jìn)而得到更加準(zhǔn)確的目標(biāo)檢測結(jié)果。

技術(shù)領(lǐng)域

本公開涉及自動(dòng)駕駛技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)匹配方法、裝置、電子設(shè)備以及存儲(chǔ)介質(zhì)。

背景技術(shù)

3D目標(biāo)檢測的目標(biāo)是識(shí)別出物體的3D包圍盒信息，主要包括位置、朝向、尺寸、置信度等信息。近年來，在3D目標(biāo)檢測領(lǐng)域，基于激光雷達(dá)或相機(jī)傳感器的單模態(tài)方法取得了越來越大的進(jìn)步。然而，由于數(shù)據(jù)結(jié)構(gòu)特點(diǎn)，圖像單模態(tài)方法的目標(biāo)檢測效果受當(dāng)前環(huán)境影響，曝光或過暗的照片都會(huì)影響目標(biāo)信息的獲取，并且還受前后遮擋的影響；點(diǎn)云單模態(tài)方法需要解決點(diǎn)云稀疏、不規(guī)則、缺乏紋理和語義信息以及小物體、遠(yuǎn)處物體的點(diǎn)數(shù)太少等問題。

基于此，亟需一種穩(wěn)定、可靠、精準(zhǔn)和魯棒性高的多模態(tài)匹配算法。

發(fā)明內(nèi)容

本公開實(shí)施例至少提供一種數(shù)據(jù)匹配方法、裝置、電子設(shè)備以及存儲(chǔ)介質(zhì)。

第一方面，本公開實(shí)施例提供了一種數(shù)據(jù)匹配方法，包括：分別對(duì)待匹配的點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行檢測，得到所述點(diǎn)云數(shù)據(jù)的目標(biāo)檢測結(jié)果和圖像數(shù)據(jù)的目標(biāo)檢測結(jié)果；其中，所述目標(biāo)檢測結(jié)果包括檢測出的目標(biāo)對(duì)象的包圍框信息；根據(jù)所述點(diǎn)云數(shù)據(jù)的目標(biāo)檢測結(jié)果，確定所述點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的目標(biāo)特征信息；根據(jù)所述圖像數(shù)據(jù)的目標(biāo)檢測結(jié)果，確定所述圖像數(shù)據(jù)對(duì)應(yīng)的目標(biāo)特征信息；所述目標(biāo)特征信息包括檢測出的目標(biāo)對(duì)象的包圍框的幾何特征信息，以及所述包圍框內(nèi)的目標(biāo)對(duì)象的外觀特征信息；根據(jù)所述目標(biāo)特征信息，對(duì)基于所述點(diǎn)云數(shù)據(jù)確定的包圍框和基于所述圖像數(shù)據(jù)確定的包圍框進(jìn)行匹配。

上述實(shí)施方式中，通過結(jié)合圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)進(jìn)行目標(biāo)檢測的方式，可以通過點(diǎn)云數(shù)據(jù)彌補(bǔ)圖像數(shù)據(jù)容易受到光照和遮擋影響的缺陷，同時(shí)通過圖像數(shù)據(jù)可以彌補(bǔ)點(diǎn)云數(shù)據(jù)稀疏以及無紋理的缺陷。因此，將圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)進(jìn)行結(jié)合來檢測3D目標(biāo)，可以提高3D目標(biāo)的檢測準(zhǔn)確性，進(jìn)而得到更加準(zhǔn)確的目標(biāo)檢測結(jié)果。

一種可選的實(shí)施方式中，所述根據(jù)所述點(diǎn)云數(shù)據(jù)的目標(biāo)檢測結(jié)果，確定所述點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的目標(biāo)特征信息，包括：將所述點(diǎn)云數(shù)據(jù)的目標(biāo)檢測結(jié)果投影至所述圖像數(shù)據(jù)中，得到所述點(diǎn)云數(shù)據(jù)所對(duì)應(yīng)的包圍框的投影框；根據(jù)所述投影框的頂點(diǎn)在所述圖像數(shù)據(jù)中的像素坐標(biāo)，確定所述點(diǎn)云數(shù)據(jù)的幾何特征信息。

上述實(shí)施例中，通過將點(diǎn)云數(shù)據(jù)所對(duì)應(yīng)的3D包圍框投影至圖像數(shù)據(jù)中，以得到2D投影框，可以實(shí)現(xiàn)數(shù)據(jù)格式的統(tǒng)一，從而能夠快速的根據(jù)圖像數(shù)據(jù)所對(duì)應(yīng)的2D包圍框和2D投影框之間的相對(duì)位置進(jìn)行目標(biāo)對(duì)象的匹配，進(jìn)而得到相應(yīng)的匹配結(jié)果。

一種可選的實(shí)施方式中，所述幾何特征信息包括所述包圍框的位置信息和/或尺寸信息。

上述實(shí)施例中，通過將包圍框的位置信息和/或尺寸信息擴(kuò)充至幾何特征信息中，可以豐富幾何特征信息，進(jìn)一步提高了數(shù)據(jù)匹配的準(zhǔn)確度。

一種可選的實(shí)施方式中，所述根據(jù)所述圖像數(shù)據(jù)的目標(biāo)檢測結(jié)果，確定所述圖像數(shù)據(jù)對(duì)應(yīng)的目標(biāo)特征信息，包括：確定所述圖像數(shù)據(jù)中位于檢測出的包圍框內(nèi)的目標(biāo)圖像數(shù)據(jù)；提取所述目標(biāo)圖像數(shù)據(jù)的圖像特征，并將提取到的所述圖像特征確定為所述圖像數(shù)據(jù)對(duì)應(yīng)的外觀特征信息。