[發(fā)明專利]圖像檢測目標(biāo)空間定位方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010839964.0
• 申請日: 2020-08-19
• 公開（公告）號: CN111951337B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 江正;吳凱;辛梓;羅躍軍
• 申請（專利權(quán)）人: 武漢中海庭數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/246
• 代理公司: 武漢藍(lán)寶石專利代理事務(wù)所(特殊普通合伙) 42242
• 代理人: 廉海濤

本發(fā)明實(shí)施例提供一種圖像檢測目標(biāo)空間定位方法及系統(tǒng)，該方法包括：跟蹤檢測目標(biāo)Bbox以及圖像的整個(gè)區(qū)域內(nèi)的第一角點(diǎn)；采用GPS的位姿三角化跟蹤到的第一角點(diǎn)，并優(yōu)化相機(jī)位姿；采用優(yōu)化后的相機(jī)位姿三角化在圖像的Bbox區(qū)域內(nèi)提取到的第二角點(diǎn)；優(yōu)化Bbox內(nèi)的路標(biāo)點(diǎn)的位姿后，基于路標(biāo)點(diǎn)的位置獲得Bbox的三維空間位置。本發(fā)明實(shí)施例使用了GPS對單目視覺缺少尺度的缺點(diǎn)進(jìn)行了彌補(bǔ)；針對Bbox框內(nèi)的點(diǎn)很少，優(yōu)化位姿時(shí)的約束不夠多的缺點(diǎn)，使用了兩次優(yōu)化，第一次在整幅圖像內(nèi)提取角點(diǎn)，然后優(yōu)化位姿；第二次在Bbox框內(nèi)提取角點(diǎn)，利用上一步優(yōu)化出來的位姿來優(yōu)Bbox內(nèi)的路標(biāo)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，更具體地，涉及一種圖像檢測目標(biāo)空間定位方法及系統(tǒng)。

背景技術(shù)

自動(dòng)駕駛中的感知技術(shù)會(huì)感知空間信息，并檢測出自動(dòng)駕駛所需要的目標(biāo)(BoundingBox，后面簡稱Bbox)，如停止線、交通燈和標(biāo)識(shí)牌等。自動(dòng)駕駛中的定位和建圖技術(shù)則需要對感知環(huán)節(jié)檢測出來的二維目標(biāo)進(jìn)行三維空間定位。現(xiàn)有技術(shù)中，單目視覺SLAM及三維重建技術(shù)可以僅依賴于單目圖像對載體自身進(jìn)行定位和對周圍環(huán)境進(jìn)行重建，然而單目視覺定位和地圖重建有如下弊端：1、最大的弊端是計(jì)算結(jié)果缺乏尺度信息，對重建出來的目標(biāo)坐標(biāo)可以進(jìn)行任意等比例縮放；2、計(jì)算出來的載體位姿及地圖點(diǎn)坐標(biāo)都是相對的(相對參考幀)，而自動(dòng)駕駛需要絕對定位；3、在一些光照變化明顯和無紋理的環(huán)境中，特征點(diǎn)提取和跟蹤容易失敗，從而導(dǎo)致定位和建圖失效或誤差較大。另外，傳統(tǒng)的視覺SLAM是在整幅圖像上提取特征點(diǎn)，主要目的是定位出自身的位置，而現(xiàn)在需要定位圖像中指定的地圖點(diǎn)，即Bbox內(nèi)的點(diǎn)，如果還是在整個(gè)圖像上提取特征點(diǎn)，那么Bbox內(nèi)很可能沒有提取到特征點(diǎn)，也就無法計(jì)算出Bbox的三維坐標(biāo)。如果只在Bbox內(nèi)提取特征點(diǎn)，且只使用重投影誤差進(jìn)行BA優(yōu)化時(shí)，優(yōu)化過程中的約束就比較少，計(jì)算結(jié)果誤差就會(huì)很大，甚至不收斂。

發(fā)明內(nèi)容

為了解決上述問題，本發(fā)明實(shí)施例提供一種克服上述問題或者至少部分地解決上述問題的圖像檢測目標(biāo)空間定位方法及系統(tǒng)。

根據(jù)本發(fā)明實(shí)施例的第一方面，提供一種圖像檢測目標(biāo)空間定位方法，該方法包括：跟蹤檢測目標(biāo)Bbox以及圖像的整個(gè)區(qū)域內(nèi)的第一角點(diǎn)；采用GPS的位姿三角化跟蹤到的第一角點(diǎn)，并優(yōu)化相機(jī)位姿；采用優(yōu)化后的相機(jī)位姿三角化在圖像的Bbox區(qū)域內(nèi)提取到的第二角點(diǎn)；優(yōu)化Bbox內(nèi)的路標(biāo)點(diǎn)的位姿后，基于路標(biāo)點(diǎn)的位置獲得Bbox的三維空間位置。

根據(jù)本發(fā)明實(shí)施例第二方面，提供了一種圖像檢測目標(biāo)空間定位系統(tǒng)，該系統(tǒng)包括：跟蹤模塊，用于跟蹤檢測目標(biāo)Bbox以及圖像的整個(gè)區(qū)域內(nèi)的第一角點(diǎn)；優(yōu)化模塊，用于采用GPS的位姿三角化跟蹤到的第一角點(diǎn)，并優(yōu)化相機(jī)位姿；提取模塊，用于采用優(yōu)化后的相機(jī)位姿三角化在圖像的Bbox區(qū)域內(nèi)提取到的第二角點(diǎn)；定位模塊，用于優(yōu)化Bbox內(nèi)的路標(biāo)點(diǎn)的位姿后，基于路標(biāo)點(diǎn)的位置獲得Bbox的三維空間位置。

根據(jù)本發(fā)明實(shí)施例的第三方面，提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行程序時(shí)實(shí)現(xiàn)如第一方面的各種可能的實(shí)現(xiàn)方式中任一種可能的實(shí)現(xiàn)方式所提供的圖像檢測目標(biāo)空間定位方法。

根據(jù)本發(fā)明實(shí)施例的第四方面，提供了一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面的各種可能的實(shí)現(xiàn)方式中任一種可能的實(shí)現(xiàn)方式所提供的圖像檢測目標(biāo)空間定位方法。

本發(fā)明實(shí)施例提供的圖像檢測目標(biāo)空間定位方法及系統(tǒng)，使用了GPS對單目視覺缺少尺度的缺點(diǎn)進(jìn)行了彌補(bǔ)；針對Bbox框內(nèi)的點(diǎn)很少，優(yōu)化位姿時(shí)的約束不夠多的缺點(diǎn)，使用了兩次優(yōu)化，第一次在整幅圖像內(nèi)提取角點(diǎn)，然后優(yōu)化位姿；第二次在Bbox框內(nèi)提取角點(diǎn)，利用上一步優(yōu)化出來的位姿來優(yōu)Bbox內(nèi)的路標(biāo)點(diǎn)；在優(yōu)化框內(nèi)的路標(biāo)點(diǎn)時(shí)，目標(biāo)函數(shù)中不僅僅有路標(biāo)點(diǎn)的重投影誤差，還添加了路標(biāo)點(diǎn)到其所在的平面的距離誤差來增加優(yōu)化過程中的約束條件，使得優(yōu)化結(jié)果更加接近真值，優(yōu)化收斂的速度大大提升。

附圖說明