[發(fā)明專利]基于雙目視覺(jué)SLAM的車輛定位及車輛3D檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011361776.8
• 申請(qǐng)日: 2020-11-27
• 公開(kāi)（公告）號(hào): CN112489080A
• 公開(kāi)（公告）日: 2021-03-12
• 發(fā)明（設(shè)計(jì)）人: 趙強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 的盧技術(shù)有限公司
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/80;G01C21/00
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 田凌濤

1.基于雙目視覺(jué)SLAM的車輛定位及車輛3D檢測(cè)方法，其特征在于，基于在本體車輛前部指定位置所固定放置的一臺(tái)雙目相機(jī)，以及雙目相機(jī)的圖像捕獲方向指向車輛行進(jìn)的前方，實(shí)現(xiàn)本體車輛行駛過(guò)程中的定位、以及對(duì)本體車輛周邊各個(gè)車輛的3D檢測(cè)，具體由步驟A1到步驟A3實(shí)現(xiàn)對(duì)本體車輛周邊各個(gè)車輛的3D檢測(cè)，由步驟B來(lái)實(shí)現(xiàn)對(duì)本體車輛行駛過(guò)程中的定位；

步驟A1.通過(guò)預(yù)設(shè)的相機(jī)標(biāo)定方法，獲取雙目相機(jī)的內(nèi)參矩陣、畸變系數(shù)、雙目基線、以及雙目相機(jī)的左目到本體車輛車身中心的變換矩陣；

步驟A2.在車輛行駛的過(guò)程中，利用雙目相機(jī)持續(xù)獲取2D雙目圖像，將本體車輛周邊各個(gè)車輛作為檢測(cè)目標(biāo)，使用預(yù)設(shè)的目標(biāo)檢測(cè)算法分別針對(duì)2D雙目圖像中的檢測(cè)目標(biāo)進(jìn)行檢測(cè),從而獲得本體車輛周邊各個(gè)車輛分別在2D雙目圖像中的2D檢測(cè)框；

步驟A3.根據(jù)步驟A2中獲得的本體車輛周邊各個(gè)車輛的2D檢測(cè)框，通過(guò)以下步驟A3-1至步驟A3-4，獲得本體車輛周邊各個(gè)車輛的3D檢測(cè)框；

步驟A3-1.利用預(yù)設(shè)的特征檢測(cè)算法分別針對(duì)2D雙目圖像中各個(gè)2D檢測(cè)框中的圖像區(qū)域進(jìn)行特征檢測(cè)，獲得各2D雙目圖像分別所對(duì)應(yīng)的圖像特征點(diǎn)，然后進(jìn)入步驟A3-2；

步驟A3-2.針對(duì)步驟A3-1中所獲各2D雙目圖像中的圖像特征點(diǎn)，利用預(yù)設(shè)的特征匹配算法進(jìn)行特征點(diǎn)匹配，從而得到2D雙目圖像中能匹配到的成對(duì)的匹配圖像特征點(diǎn)、以及各匹配圖像特征點(diǎn)分別在各2D雙目圖像中的2D圖像坐標(biāo)；

步驟A3-3.針對(duì)每一對(duì)匹配圖像特征點(diǎn)，根據(jù)步驟A1中獲取的雙目相機(jī)的內(nèi)參矩陣、畸變系數(shù)、雙目基線以及雙目相機(jī)的左目到本體車輛車身中心的變換矩陣，并應(yīng)用預(yù)設(shè)的測(cè)距算法獲取每一對(duì)匹配圖像特征點(diǎn)所對(duì)應(yīng)的空間點(diǎn)相對(duì)于本體車輛在世界坐標(biāo)系下的3D坐標(biāo)；

步驟A3-4.利用預(yù)設(shè)的擬合算法對(duì)每一對(duì)匹配圖像特征點(diǎn)所對(duì)應(yīng)的空間點(diǎn)進(jìn)行擬合，獲得本體車輛周邊各個(gè)車輛的3D檢測(cè)框；

步驟B. 在車輛行駛的過(guò)程中，將雙目相機(jī)持續(xù)獲取的2D雙目圖像作為雙目視覺(jué)SLAM算法的輸入圖像，然后利用SLAM算法完成對(duì)本體車輛的定位。

2.根據(jù)權(quán)利要求1所述的基于雙目視覺(jué)SLAM的車輛定位及車輛3D檢測(cè)方法，其特征在于，步驟A1中預(yù)設(shè)的相機(jī)標(biāo)定方法為張正友標(biāo)定法。

3.根據(jù)權(quán)利要求1所述的基于雙目視覺(jué)SLAM的車輛定位及車輛3D檢測(cè)方法，其特征在于，步驟A2中預(yù)設(shè)的目標(biāo)檢測(cè)算法為SSD檢測(cè)算法。

4.根據(jù)權(quán)利要求1所述的基于雙目視覺(jué)SLAM的車輛定位及車輛3D檢測(cè)方法，其特征在于，步驟A3-1中預(yù)設(shè)的特征檢測(cè)算法為ORB特征檢測(cè)子檢測(cè)算法。

5.根據(jù)權(quán)利要求1所述的基于雙目視覺(jué)SLAM的車輛定位及車輛3D檢測(cè)方法，其特征在于，步驟A3-2中預(yù)設(shè)的特征匹配算法為ORB特征描述子匹配算法。

6.根據(jù)權(quán)利要求1所述的基于雙目視覺(jué)SLAM的車輛定位及車輛3D檢測(cè)方法，其特征在于，步驟A3-3中預(yù)設(shè)的測(cè)距算法為三角化算法。

7.根據(jù)權(quán)利要求1所述的基于雙目視覺(jué)SLAM的車輛定位及車輛3D檢測(cè)方法，其特征在于，步驟A3-4中預(yù)設(shè)的擬合算法為最小外接立方體擬合算法。

8.根據(jù)權(quán)利要求1所述的基于雙目視覺(jué)SLAM的車輛定位及車輛3D檢測(cè)方法，其特征在于，步驟B中首先對(duì)雙目相機(jī)獲取的圖像按照預(yù)設(shè)的方法進(jìn)行處理，再用slam算法確定運(yùn)動(dòng)軌跡。

9.根據(jù)權(quán)利要求8所述的基于雙目視覺(jué)SLAM的車輛定位及車輛3D檢測(cè)方法，其特征在于，預(yù)設(shè)的方法為去除掉雙目相機(jī)獲取的2D雙目圖像中的相對(duì)于本體車輛的周邊運(yùn)動(dòng)車輛的圖像區(qū)域。