[發(fā)明專利]毫米波雷達(dá)、激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定方法和裝置

在審

• 申請?zhí)枺?/td>: 202010843901.2
• 申請日: 2020-08-20
• 公開（公告）號: CN114076918A
• 公開（公告）日: 2022-02-22
• 發(fā)明（設(shè)計）人: 王鄧江;馬冰;楊光;鄧永強(qiáng)
• 申請（專利權(quán)）人: 北京萬集科技股份有限公司
• 主分類號: G01S7/40
• 分類號: G01S7/40;G01S7/497;G06T7/80
• 代理公司: 北京華進(jìn)京聯(lián)知識產(chǎn)權(quán)代理有限公司 11606
• 代理人: 孫巖

1.一種毫米波雷達(dá)、激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定方法，其特征在于，包括：

獲取同一時刻、同一場景下采集的圖像、毫米波點(diǎn)云數(shù)據(jù)及激光點(diǎn)云數(shù)據(jù)；

根據(jù)所述毫米波雷達(dá)相對于所述相機(jī)的第一初始聯(lián)合標(biāo)定參數(shù)，將所述毫米波點(diǎn)云數(shù)據(jù)對應(yīng)的點(diǎn)云映射到所述圖像上得到毫米波映射點(diǎn)云，以及根據(jù)所述激光雷達(dá)相對于所述相機(jī)的第二初始聯(lián)合標(biāo)定參數(shù)，將所述激光點(diǎn)云數(shù)據(jù)對應(yīng)的點(diǎn)云映射到所述圖像上得到激光映射點(diǎn)云；

計算標(biāo)定物在所述圖像上的毫米波點(diǎn)云目標(biāo)框和激光點(diǎn)云目標(biāo)框分別與圖像識別目標(biāo)框之間的重疊面積，所述標(biāo)定物為所述相機(jī)和所述毫米波雷達(dá)重疊檢測區(qū)域中的至少一個目標(biāo)；

基于各標(biāo)定物對應(yīng)的所述重疊面積調(diào)整所述第一初始聯(lián)合標(biāo)定參數(shù)、所述第二初始聯(lián)合標(biāo)定參數(shù)，直到所述重疊面積滿足預(yù)設(shè)閾值，將調(diào)整后的第一聯(lián)合標(biāo)定參數(shù)及第二聯(lián)合標(biāo)定參數(shù)作為所述毫米波雷達(dá)、激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定的目標(biāo)聯(lián)合標(biāo)定參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述毫米波雷達(dá)相對于所述相機(jī)的第一初始聯(lián)合標(biāo)定參數(shù)的計算過程，包括：

將所述毫米波雷達(dá)在球坐標(biāo)系中的坐標(biāo)轉(zhuǎn)換為所述毫米波雷達(dá)在世界坐標(biāo)系中的坐標(biāo)；

將所述相機(jī)在相機(jī)坐標(biāo)系中的坐標(biāo)轉(zhuǎn)換為所述相機(jī)在所述世界坐標(biāo)系中的坐標(biāo)；

根據(jù)所述毫米波雷達(dá)在所述世界坐標(biāo)系中的坐標(biāo)、所述相機(jī)在所述世界坐標(biāo)系中的坐標(biāo)，計算所述毫米波雷達(dá)相對于所述相機(jī)的第一初始聯(lián)合標(biāo)定參數(shù)。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)所述毫米波雷達(dá)相對于所述相機(jī)的第一初始聯(lián)合標(biāo)定參數(shù)，將所述毫米波點(diǎn)云數(shù)據(jù)對應(yīng)的點(diǎn)云映射到所述圖像上得到毫米波映射點(diǎn)云，包括：

將所述毫米波點(diǎn)云數(shù)據(jù)在球坐標(biāo)系中的坐標(biāo)，轉(zhuǎn)換為在世界坐標(biāo)系中的坐標(biāo)；

將所述相機(jī)的內(nèi)參矩陣、所述相機(jī)的畸變系數(shù)、所述毫米波雷達(dá)相對于所述相機(jī)的第一初始聯(lián)合標(biāo)定參數(shù)及所述毫米波點(diǎn)云數(shù)據(jù)在世界坐標(biāo)系中的坐標(biāo)輸入至透射變換矩陣，計算所述毫米波點(diǎn)云數(shù)據(jù)對應(yīng)的毫米波點(diǎn)云在像素坐標(biāo)系中的坐標(biāo)；

從所述圖像上提取所述毫米波點(diǎn)云在像素坐標(biāo)系中的坐標(biāo)處的像素點(diǎn)，作為毫米波映射點(diǎn)云。

4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，根據(jù)所述激光雷達(dá)相對于所述相機(jī)的第二初始聯(lián)合標(biāo)定參數(shù)，將所述激光點(diǎn)云數(shù)據(jù)對應(yīng)的點(diǎn)云映射到所述圖像上得到激光映射點(diǎn)云，包括：

獲取所述激光點(diǎn)云數(shù)據(jù)在世界坐標(biāo)系中的坐標(biāo)；

將所述相機(jī)的內(nèi)參矩陣、所述相機(jī)的畸變系數(shù)、所述激光雷達(dá)相對于所述相機(jī)的第二初始聯(lián)合標(biāo)定參數(shù)及所述激光點(diǎn)云數(shù)據(jù)在世界坐標(biāo)系中的坐標(biāo)輸入至透射變換矩陣，計算所述激光點(diǎn)云數(shù)據(jù)對應(yīng)的激光點(diǎn)云在像素坐標(biāo)系中的坐標(biāo)；

從所述圖像上提取所述激光點(diǎn)云在像素坐標(biāo)系中的坐標(biāo)處的像素點(diǎn)，作為激光映射點(diǎn)云。

5.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，在所述計算標(biāo)定物在所述圖像上的毫米波點(diǎn)云目標(biāo)框和激光點(diǎn)云目標(biāo)框與圖像識別目標(biāo)框之間的重疊面積之前，還包括：

針對所述圖像上的每個標(biāo)定物，在所述圖像上以所述毫米波映射點(diǎn)云為中心，以預(yù)設(shè)尺寸繪制毫米波點(diǎn)云目標(biāo)框；在所述圖像上獲取所述目標(biāo)對應(yīng)的激光映射點(diǎn)云的外接矩形框作為激光點(diǎn)云目標(biāo)框；對所述圖像進(jìn)行圖像識別得到圖像識別目標(biāo)框；

獲取標(biāo)定物在所述圖像上的毫米波點(diǎn)云目標(biāo)框、激光點(diǎn)云目標(biāo)框及圖像識別目標(biāo)框。