[發(fā)明專利]相機與激光雷達(dá)的配準(zhǔn)方法、系統(tǒng)及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202210696008.0
• 申請日: 2022-06-20
• 公開（公告）號: CN114782556B
• 公開（公告）日: 2022-09-09
• 發(fā)明（設(shè)計）人: 浣石;陶為俊;徐沖;李傳榮;唐伶俐
• 申請（專利權(quán)）人: 季華實驗室
• 主分類號: G06T7/80
• 分類號: G06T7/80;G01S17/86;G01S7/497
• 代理公司: 北京開陽星知識產(chǎn)權(quán)代理有限公司 11710
• 代理人: 姚金金

1.相機與激光雷達(dá)的配準(zhǔn)方法，其特征在于，所述配準(zhǔn)方法包括：

保持相機與激光雷達(dá)的相對位姿不變；

通過激光雷達(dá)獲取標(biāo)志場至少三個方位的標(biāo)志點的雷達(dá)數(shù)據(jù)；

通過相機獲取所述至少三個方位的包含所述標(biāo)志點的標(biāo)志場圖像數(shù)據(jù)；

獲取世界坐標(biāo)系下標(biāo)志場中標(biāo)志點的坐標(biāo)；

根據(jù)所述標(biāo)志場圖像數(shù)據(jù)與所述世界坐標(biāo)系下標(biāo)志點的坐標(biāo)獲取得到相機的位姿信息；

根據(jù)所述至少三個方位的雷達(dá)數(shù)據(jù)和對應(yīng)方位的相機的位姿信息通過預(yù)設(shè)的位姿關(guān)系方程獲取得到圖像數(shù)據(jù)與雷達(dá)數(shù)據(jù)的位姿關(guān)系；

所述預(yù)設(shè)的位姿關(guān)系方程為：

其中，為激光雷達(dá)坐標(biāo)系下的激光雷達(dá)第j次測量時第i個標(biāo)志點的坐標(biāo)，為第i個標(biāo)志點在世界坐標(biāo)系下的標(biāo)志點坐標(biāo)的四元數(shù)表示，為相機在第j次測量時相機的旋轉(zhuǎn)四元數(shù)，為相機在第j次測量時相機的平移四元數(shù)，q為圖像數(shù)據(jù)轉(zhuǎn)換至雷達(dá)數(shù)據(jù)的旋轉(zhuǎn)四元數(shù)，T為圖像數(shù)據(jù)轉(zhuǎn)換至雷達(dá)數(shù)據(jù)的平移四元數(shù)，所述和為相機的位姿信息，聯(lián)立至少三個方位的激光雷達(dá)獲取到的雷達(dá)數(shù)據(jù)以及對應(yīng)方位的相機的位姿信息的和得到圖像數(shù)據(jù)轉(zhuǎn)換至雷達(dá)數(shù)據(jù)的旋轉(zhuǎn)四元數(shù)q以及平移四元數(shù)T。

2.根據(jù)權(quán)利要求1所述的相機與激光雷達(dá)的配準(zhǔn)方法，其特征在于，所述配準(zhǔn)方法還包括：

根據(jù)激光雷達(dá)與所述相機的安裝位置，結(jié)合相機的位姿信息對所述激光雷達(dá)位姿信息進(jìn)行初始估計以得到各個方位的激光雷達(dá)的位姿信息估計值；

根據(jù)所述各個方位的激光雷達(dá)的位姿信息估計值，通過預(yù)設(shè)的范圍估計方程計算得到各個方位的激光雷達(dá)所掃描的標(biāo)志點范圍，將各個方位的雷達(dá)數(shù)據(jù)與對應(yīng)方位的激光雷達(dá)所掃描的標(biāo)志點范圍進(jìn)行比對，篩選得到各個方位的第一雷達(dá)數(shù)據(jù)，

根據(jù)至少三個方位的第一雷達(dá)數(shù)據(jù)和對應(yīng)方位的相機的位姿信息通過預(yù)設(shè)的位姿關(guān)系方程獲取得到圖像數(shù)據(jù)與雷達(dá)數(shù)據(jù)的位姿關(guān)系。

3.根據(jù)權(quán)利要求1所述的相機與激光雷達(dá)的配準(zhǔn)方法，其特征在于，所述相機的位姿信息通過張正友棋盤格標(biāo)定算法根據(jù)所述標(biāo)志場圖像數(shù)據(jù)與世界坐標(biāo)系下標(biāo)志點的坐標(biāo)獲得。

4.根據(jù)權(quán)利要求1所述的相機與激光雷達(dá)的配準(zhǔn)方法，其特征在于，所述旋轉(zhuǎn)四元數(shù)，所述平移四元數(shù)，得到所述雷達(dá)數(shù)據(jù)相對于圖像數(shù)據(jù)的旋轉(zhuǎn)矩陣：

所述雷達(dá)數(shù)據(jù)相對于圖像數(shù)據(jù)的平移矩陣為：

。

5.根據(jù)權(quán)利要求1所述的相機與激光雷達(dá)的配準(zhǔn)方法，其特征在于，所述相機與激光雷達(dá)在水平方向由下往上掃描以獲取第一個方位的圖像數(shù)據(jù)和雷達(dá)數(shù)據(jù)，所述相機與激光雷達(dá)由水平方向往左旋轉(zhuǎn)第一預(yù)設(shè)角度由下往上掃描以獲取第二個方位的圖像數(shù)據(jù)和雷達(dá)數(shù)據(jù)，所述相機與激光雷達(dá)由水平方向往右旋轉(zhuǎn)第二預(yù)設(shè)角度由下往上掃描以獲取第三個方位的圖像數(shù)據(jù)和雷達(dá)數(shù)據(jù)。

6.相機與激光雷達(dá)的配準(zhǔn)系統(tǒng)，其特征在于，包括：

數(shù)據(jù)采集模塊，所述數(shù)據(jù)采集模塊包括相機和激光雷達(dá)，所述相機和激光雷達(dá)相互固定；

標(biāo)志場，包括多個標(biāo)志點，所述標(biāo)志點在世界坐標(biāo)系下的坐標(biāo)已知；

驅(qū)動模塊，所述驅(qū)動模塊與所述數(shù)據(jù)采集模塊連接以使所述數(shù)據(jù)采集模塊運動；

配準(zhǔn)模塊，包括計算機可讀存儲介質(zhì)和處理器，所述存儲介質(zhì)存儲有權(quán)利要求1-5任一所述的相機與激光雷達(dá)的配準(zhǔn)方法，所述處理器用于控制驅(qū)動模塊和數(shù)據(jù)采集模塊執(zhí)行所述存儲介質(zhì)中存儲的相機與激光雷達(dá)的配準(zhǔn)方法。

7.根據(jù)權(quán)利要求6所述的相機與激光雷達(dá)的配準(zhǔn)系統(tǒng)，其特征在于，所述標(biāo)志場包括第一標(biāo)志桿集和第二標(biāo)志桿集，所述第一標(biāo)志桿集和第二標(biāo)志桿集相互拼合以形成夾角結(jié)構(gòu)，所述第一標(biāo)志桿集和第二標(biāo)志桿集包括多支標(biāo)志桿，每支標(biāo)志桿上設(shè)置有預(yù)設(shè)范圍內(nèi)的標(biāo)志點。

8.根據(jù)權(quán)利要求7所述的相機與激光雷達(dá)的配準(zhǔn)系統(tǒng)，其特征在于，所述第一標(biāo)志桿集由多支標(biāo)志桿分第一預(yù)設(shè)數(shù)量的排數(shù)構(gòu)成，所述第二標(biāo)志桿集由多支標(biāo)志桿分第二預(yù)設(shè)數(shù)量的排數(shù)構(gòu)成，所述第一預(yù)設(shè)數(shù)量不等于第二預(yù)設(shè)數(shù)量。

9.一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-5任一項所述相機與激光雷達(dá)的配準(zhǔn)方法的步驟。