[發(fā)明專利]圖像檢測目標(biāo)空間定位方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010839964.0
• 申請日: 2020-08-19
• 公開（公告）號: CN111951337B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計）人: 江正;吳凱;辛梓;羅躍軍
• 申請（專利權(quán)）人: 武漢中海庭數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/246
• 代理公司: 武漢藍(lán)寶石專利代理事務(wù)所(特殊普通合伙) 42242
• 代理人: 廉海濤

1.一種圖像檢測目標(biāo)空間定位方法，其特征在于，包括：跟蹤檢測目標(biāo)Bbox以及圖像的整個區(qū)域內(nèi)的第一角點(diǎn)；

采用GPS的位姿三角化跟蹤到的所述第一角點(diǎn)，并優(yōu)化相機(jī)位姿；

采用優(yōu)化后的所述相機(jī)位姿三角化在圖像的Bbox區(qū)域內(nèi)提取到的第二角點(diǎn)；

優(yōu)化Bbox內(nèi)的路標(biāo)點(diǎn)的位姿后，基于所述路標(biāo)點(diǎn)的位置獲得Bbox的三維空間位置；

所述采用GPS的位姿三角化跟蹤到的所述第一角點(diǎn)，包括：基于相機(jī)和GPS的外參矩陣，將GPS的位姿轉(zhuǎn)換到相機(jī)位姿；根據(jù)所述相機(jī)位姿三角化所述第一角點(diǎn)；

所述優(yōu)化相機(jī)位姿，包括：采用第一目標(biāo)函數(shù)優(yōu)化相機(jī)位姿；其中，所述第一目標(biāo)函數(shù)包括第一殘差和第二殘差，所述第一殘差為路標(biāo)點(diǎn)的重投影誤差，所述第二殘差為位姿的先驗(yàn)誤差；在優(yōu)化的過程中，所述第一殘差和所述第二殘差被分配不同的權(quán)重，以使所述相機(jī)位姿在初值附近進(jìn)行優(yōu)化；所述第一目標(biāo)函數(shù)的優(yōu)化變量為相機(jī)位姿和路標(biāo)點(diǎn)；

所述優(yōu)化Bbox內(nèi)的路標(biāo)點(diǎn)的位姿，包括：采用第二目標(biāo)函數(shù)優(yōu)化Bbox內(nèi)的路標(biāo)點(diǎn)的位姿；其中，所述第二目標(biāo)函數(shù)包括第三殘差和第四殘差，所述第三殘差為路標(biāo)點(diǎn)的重投影誤差，所述第四殘差為路標(biāo)點(diǎn)的共面誤差，所述第二目標(biāo)函數(shù)的優(yōu)化變量為路標(biāo)點(diǎn)和路標(biāo)點(diǎn)所在的平面。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，跟蹤圖像的整個區(qū)域內(nèi)的第一角點(diǎn)，包括：在跟蹤的圖像隊(duì)列中篩選多個關(guān)鍵幀；

在所述多個關(guān)鍵幀中的第一幀中提取大于預(yù)設(shè)數(shù)量的第一角點(diǎn)，所述第一角點(diǎn)均勻分布于圖像中，所述第一角點(diǎn)為FAST角點(diǎn)；

采用LK光流法跟蹤所述第一角點(diǎn)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采用優(yōu)化后的所述相機(jī)位姿三角化在圖像的Bbox區(qū)域內(nèi)提取到的第二角點(diǎn)之前，還包括：在圖像的Bbox區(qū)域內(nèi)提取第二角點(diǎn)，所述第二角點(diǎn)為FAST角點(diǎn)；

采用LK光流法跟蹤所述第二角點(diǎn)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述路標(biāo)點(diǎn)的位置獲得Bbox的三維空間位置，包括：將全部所述路標(biāo)點(diǎn)的位置均值作為Bbox的三維空間位置；

根據(jù)相機(jī)位姿將所述三維空間位置轉(zhuǎn)換到世界坐標(biāo)系下。

5.一種圖像檢測目標(biāo)空間定位系統(tǒng)，其特征在于，包括：跟蹤模塊，用于跟蹤檢測目標(biāo)Bbox以及圖像的整個區(qū)域內(nèi)的第一角點(diǎn)；

優(yōu)化模塊，用于采用GPS的位姿三角化跟蹤到的所述第一角點(diǎn)，并優(yōu)化相機(jī)位姿；

提取模塊，用于采用優(yōu)化后的所述相機(jī)位姿三角化在圖像的Bbox區(qū)域內(nèi)提取到的第二角點(diǎn)；

定位模塊，用于優(yōu)化Bbox內(nèi)的路標(biāo)點(diǎn)的位姿后，基于所述路標(biāo)點(diǎn)的位置獲得Bbox的三維空間位置；

所述采用GPS的位姿三角化跟蹤到的所述第一角點(diǎn)，包括：基于相機(jī)和GPS的外參矩陣，將GPS的位姿轉(zhuǎn)換到相機(jī)位姿；根據(jù)所述相機(jī)位姿三角化所述第一角點(diǎn)；

所述優(yōu)化相機(jī)位姿，包括：采用第一目標(biāo)函數(shù)優(yōu)化相機(jī)位姿；其中，所述第一目標(biāo)函數(shù)包括第一殘差和第二殘差，所述第一殘差為路標(biāo)點(diǎn)的重投影誤差，所述第二殘差為位姿的先驗(yàn)誤差；在優(yōu)化的過程中，所述第一殘差和所述第二殘差被分配不同的權(quán)重，以使所述相機(jī)位姿在初值附近進(jìn)行優(yōu)化；所述第一目標(biāo)函數(shù)的優(yōu)化變量為相機(jī)位姿和路標(biāo)點(diǎn)；

所述優(yōu)化Bbox內(nèi)的路標(biāo)點(diǎn)的位姿，包括：采用第二目標(biāo)函數(shù)優(yōu)化Bbox內(nèi)的路標(biāo)點(diǎn)的位姿；其中，所述第二目標(biāo)函數(shù)包括第三殘差和第四殘差，所述第三殘差為路標(biāo)點(diǎn)的重投影誤差，所述第四殘差為路標(biāo)點(diǎn)的共面誤差，所述第二目標(biāo)函數(shù)的優(yōu)化變量為路標(biāo)點(diǎn)和路標(biāo)點(diǎn)所在的平面。

6.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時實(shí)現(xiàn)如權(quán)利要求1至4任一項(xiàng)所述圖像檢測目標(biāo)空間定位方法的步驟。

7.一種非暫態(tài)計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，該計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至4任一項(xiàng)所述圖像檢測目標(biāo)空間定位方法的步驟。