[發(fā)明專(zhuān)利]一種三維物體檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010524825.9
• 申請(qǐng)日: 2020-06-10
• 公開(kāi)（公告）號(hào): CN111709923B
• 公開(kāi)（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 高延熹;呂穎;楊化偉;龐竹吟
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)第一汽車(chē)股份有限公司
• 主分類(lèi)號(hào): G06T7/00
• 分類(lèi)號(hào): G06T7/00;G06T7/13;G06T3/00
• 代理公司: 北京遠(yuǎn)智匯知識(shí)產(chǎn)權(quán)代理有限公司 11659
• 代理人: 范坤坤

本發(fā)明公開(kāi)了一種三維物體檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，該方法包括：獲取與待檢測(cè)區(qū)域匹配的目標(biāo)識(shí)別圖像和點(diǎn)云數(shù)據(jù)，并根據(jù)所述點(diǎn)云數(shù)據(jù)，生成與所述待檢測(cè)區(qū)域匹配的鳥(niǎo)瞰圖；獲取與所述目標(biāo)識(shí)別圖像對(duì)應(yīng)的圖像二維物體邊框圖，以及與所述鳥(niǎo)瞰圖對(duì)應(yīng)的點(diǎn)云二維物體邊框圖；獲取與圖像二維物體邊框圖對(duì)應(yīng)的三維物體邊框圖，并生成與所述三維物體邊框圖匹配的鳥(niǎo)瞰投影圖；將所述鳥(niǎo)瞰投影圖與所述點(diǎn)云二維物體邊框圖進(jìn)行匹配，并根據(jù)匹配結(jié)果，對(duì)三維物體邊框圖進(jìn)行更新，得到與所述待檢測(cè)區(qū)域匹配的三維物體檢測(cè)結(jié)果。使用本發(fā)明的技術(shù)方案，可以實(shí)現(xiàn)快速、全面、準(zhǔn)確地檢測(cè)圖像中的三維物體。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及圖像處理技術(shù)，尤其涉及一種三維物體檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

三維物體的檢測(cè)是計(jì)算機(jī)視覺(jué)技術(shù)中的一個(gè)重要研究領(lǐng)域，可以廣泛應(yīng)用于智能汽車(chē)、智能交通以及智能視頻監(jiān)控等領(lǐng)域。

現(xiàn)有技術(shù)中，研究者通常采用圖像和激光雷達(dá)點(diǎn)云融合的方式，檢測(cè)圖像中的三維物體。

發(fā)明人在實(shí)現(xiàn)本發(fā)明的過(guò)程中，發(fā)現(xiàn)現(xiàn)有技術(shù)存在以下缺陷：采用根據(jù)激光雷達(dá)點(diǎn)云生成鳥(niǎo)瞰圖和前視圖，在鳥(niǎo)瞰圖上獲取三維物體候選框，再對(duì)三維物體候選框投射到鳥(niǎo)瞰圖、前視圖和圖像平面的特征進(jìn)行深度融合的方式，時(shí)間復(fù)雜度較高，檢測(cè)速度較慢；采用對(duì)圖像和激光雷達(dá)點(diǎn)云生成的鳥(niǎo)瞰圖進(jìn)行特征融合生成三維物體候選框，再對(duì)三維物體候選框進(jìn)行邊框回歸和分類(lèi)的方式，物體的檢測(cè)精度較低；采用根據(jù)圖像生成二維物體邊界框，提取二維邊界框內(nèi)的點(diǎn)云，再進(jìn)行實(shí)例分割和邊框回歸的方式，檢測(cè)速度較慢，并且容易產(chǎn)生漏檢的情況。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種三維物體檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，以實(shí)現(xiàn)快速、全面、準(zhǔn)確地檢測(cè)圖像中的三維物體。

第一方面，本發(fā)明實(shí)施例提供了一種三維物體檢測(cè)方法，該方法包括：

獲取與待檢測(cè)區(qū)域匹配的目標(biāo)識(shí)別圖像和點(diǎn)云數(shù)據(jù)，并根據(jù)所述點(diǎn)云數(shù)據(jù)，生成與所述待檢測(cè)區(qū)域匹配的鳥(niǎo)瞰圖；

獲取與所述目標(biāo)識(shí)別圖像對(duì)應(yīng)的圖像二維物體邊框圖，以及與所述鳥(niǎo)瞰圖對(duì)應(yīng)的點(diǎn)云二維物體邊框圖；

獲取與圖像二維物體邊框圖對(duì)應(yīng)的三維物體邊框圖，并生成與所述三維物體邊框圖匹配的鳥(niǎo)瞰投影圖；

將所述鳥(niǎo)瞰投影圖與所述點(diǎn)云二維物體邊框圖進(jìn)行匹配，并根據(jù)匹配結(jié)果，對(duì)三維物體邊框圖進(jìn)行更新，得到與所述待檢測(cè)區(qū)域匹配的三維物體檢測(cè)結(jié)果。

第二方面，本發(fā)明實(shí)施例還提供了一種三維物體檢測(cè)裝置，該裝置包括：

圖像獲取模塊，用于獲取與待檢測(cè)區(qū)域匹配的目標(biāo)識(shí)別圖像和點(diǎn)云數(shù)據(jù)，并根據(jù)所述點(diǎn)云數(shù)據(jù)，生成與所述待檢測(cè)區(qū)域匹配的鳥(niǎo)瞰圖；

二維物體邊框圖獲取模塊，用于獲取與所述目標(biāo)識(shí)別圖像對(duì)應(yīng)的圖像二維物體邊框圖，以及與所述鳥(niǎo)瞰圖對(duì)應(yīng)的點(diǎn)云二維物體邊框圖；

鳥(niǎo)瞰投影圖生成模塊，用于獲取與圖像二維物體邊框圖對(duì)應(yīng)的三維物體邊框圖，并生成與所述三維物體邊框圖匹配的鳥(niǎo)瞰投影圖；

三維物體檢測(cè)結(jié)果獲取模塊，用于將所述鳥(niǎo)瞰投影圖與所述點(diǎn)云二維物體邊框圖進(jìn)行匹配，并根據(jù)匹配結(jié)果，對(duì)三維物體邊框圖進(jìn)行更新，得到與所述待檢測(cè)區(qū)域匹配的三維物體檢測(cè)結(jié)果。

第三方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如本發(fā)明實(shí)施例中任一所述的三維物體檢測(cè)方法。

第四方面，本發(fā)明實(shí)施例還提供了一種包含計(jì)算機(jī)可執(zhí)行指令的存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可執(zhí)行指令在由計(jì)算機(jī)處理器執(zhí)行時(shí)用于執(zhí)行如本發(fā)明實(shí)施例中任一所述的三維物體檢測(cè)方法。