[發(fā)明專利]一種面向毫米波雷達(dá)與視頻圖像的數(shù)據(jù)融合方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110270383.4
• 申請(qǐng)日: 2021-03-12
• 公開（公告）號(hào): CN113239948B
• 公開（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 徐杰;梁晨晨;劉天弼;馮瑞
• 申請(qǐng)（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06V10/80;G06V20/58;G01S13/86;G01S13/89;G06T5/50;G06T7/13;G06T7/33;G06T7/62;G06T7/73
• 代理公司: 上海德昭知識(shí)產(chǎn)權(quán)代理有限公司 31204
• 代理人: 郁旦蓉

1.一種面向毫米波雷達(dá)與視頻圖像的數(shù)據(jù)融合方法，用于對(duì)毫米波雷達(dá)以及攝像頭的坐標(biāo)數(shù)據(jù)進(jìn)行融合，其特征在于，包括以下步驟：

步驟S1，建立含有黑色幕布以及在該黑色幕布前根據(jù)預(yù)定距離等距平行設(shè)置有等長(zhǎng)的n個(gè)白色木棍的檢測(cè)場(chǎng)景，所述白色木棍垂直于水平面；

步驟S2，通過所述毫米波雷達(dá)對(duì)所述檢測(cè)場(chǎng)景進(jìn)行檢測(cè)，得到n個(gè)所述白色木棍在對(duì)應(yīng)于所述水平面的雷達(dá)坐標(biāo)系中x軸與y軸上的坐標(biāo)值Xrn以及Yrn；

步驟S3，通過所述攝像頭對(duì)所述檢測(cè)場(chǎng)景進(jìn)行拍攝得到木棍圖像；

步驟S4，對(duì)所述木棍圖像進(jìn)行數(shù)字圖像處理得到n個(gè)所述白色木棍的木棍中心點(diǎn)在所述木棍圖像中的坐標(biāo)值作為該白色木棍在對(duì)應(yīng)于豎平面的圖像坐標(biāo)系中y軸與z軸上的坐標(biāo)值Ycn以及Zcn；

步驟S5，根據(jù)所述預(yù)定距離、所述白色木棍在所述雷達(dá)坐標(biāo)系中的坐標(biāo)值以及在所述圖像坐標(biāo)系中的坐標(biāo)值，將所述雷達(dá)坐標(biāo)系以及所述圖像坐標(biāo)系基于所述y軸進(jìn)行映射從而完成所述雷達(dá)坐標(biāo)系以及所述圖像坐標(biāo)系的融合。

2.根據(jù)權(quán)利要求1所述的面向毫米波雷達(dá)與視頻圖像的數(shù)據(jù)融合方法，其特征在于：

其中，所述圖像坐標(biāo)系以及所述雷達(dá)坐標(biāo)系基于所述y軸的映射為：

將所述木棍圖像中各個(gè)所述白色木棍之間的像素距離與雷達(dá)坐標(biāo)系中所述毫米波雷達(dá)測(cè)得的雷達(dá)測(cè)量面法線與各個(gè)所述白色木棍之間的角度進(jìn)行對(duì)應(yīng)。

3.根據(jù)權(quán)利要求1所述的面向毫米波雷達(dá)與視頻圖像的數(shù)據(jù)融合方法，其特征在于：

其中，所述圖像坐標(biāo)系以及所述雷達(dá)坐標(biāo)系基于所述y軸的映射為：

將所述木棍圖像中各個(gè)所述白色木棍之間的像素距離與雷達(dá)坐標(biāo)系中所述毫米波雷達(dá)測(cè)得的各個(gè)所述白色木棍之間在y軸上的距離進(jìn)行對(duì)應(yīng)。

4.根據(jù)權(quán)利要求1所述的面向毫米波雷達(dá)與視頻圖像的數(shù)據(jù)融合方法，其特征在于：

其中，所述步驟S4包括以下子步驟：

步驟S4-1，對(duì)所述木棍圖像采用預(yù)定邊緣檢測(cè)算法得到所述木棍邊緣點(diǎn)的邊緣點(diǎn)位置；

步驟S4-2，基于最小二乘法對(duì)所述木棍邊緣點(diǎn)進(jìn)行直線擬合從而使得所述邊緣點(diǎn)位置沿對(duì)應(yīng)于所述白色木棍邊緣的直線排布；

步驟S4-3，根據(jù)各個(gè)所述直線所對(duì)應(yīng)的邊緣點(diǎn)位置計(jì)算各個(gè)所述直線之間的直線距離，并將該直線距離最短的兩根直線判定為同一所述白色木棍的左右邊緣；

步驟S4-4，根據(jù)每個(gè)所述白色木棍的左右邊緣所對(duì)應(yīng)的所述邊緣點(diǎn)位置，基于預(yù)定中心點(diǎn)計(jì)算方法確定所述木棍中心點(diǎn)。

5.根據(jù)權(quán)利要求4所述的面向毫米波雷達(dá)與視頻圖像的數(shù)據(jù)融合方法，其特征在于：

其中，所述預(yù)定中心點(diǎn)計(jì)算方法為：

取所述左右邊緣兩端的4個(gè)所述木棍邊緣點(diǎn)的邊緣點(diǎn)位置，并將計(jì)算4個(gè)所述木棍邊緣點(diǎn)的中心點(diǎn)坐標(biāo)作為所述白色木棍的中心點(diǎn)。

6.根據(jù)權(quán)利要求4所述的面向毫米波雷達(dá)與視頻圖像的數(shù)據(jù)融合方法，其特征在于：

其中，所述預(yù)定中心點(diǎn)計(jì)算方法為：

根據(jù)所述邊緣點(diǎn)位置計(jì)算所述左右邊緣的中心線，并將該中心線的中點(diǎn)作為所述白色木棍的木棍中心點(diǎn)。

7.根據(jù)權(quán)利要求1所述的面向毫米波雷達(dá)與視頻圖像的數(shù)據(jù)融合方法，其特征在于：

其中，所述步驟S4中木棍中心點(diǎn)的確定方法為：

預(yù)先在所述白色木棍的中心點(diǎn)標(biāo)記具有預(yù)定色彩的標(biāo)記點(diǎn)并存儲(chǔ)所述預(yù)定色彩的RGB值，根據(jù)該RGB值識(shí)別出所述木棍圖像中的各個(gè)所述標(biāo)記點(diǎn)從而得到所述木棍中心點(diǎn)。

8.根據(jù)權(quán)利要求1所述的面向毫米波雷達(dá)與視頻圖像的數(shù)據(jù)融合方法，其特征在于：

其中，所述白色木棍的長(zhǎng)度為50-150cm，寬度為2-10cm，

所述預(yù)定距離為20-40cm。

9.根據(jù)權(quán)利要求1所述的面向毫米波雷達(dá)與視頻圖像的數(shù)據(jù)融合方法，其特征在于：

其中，所述毫米波雷達(dá)以及所述攝像頭均安裝在無人駕駛車輛的正前方中央并在對(duì)應(yīng)于所述z軸的豎直方向上保持對(duì)齊。

10.一種面向毫米波雷達(dá)與視頻圖像的數(shù)據(jù)融合系統(tǒng)，用于對(duì)毫米波雷達(dá)以及攝像頭的坐標(biāo)數(shù)據(jù)進(jìn)行融合，其特征在于，包括：

檢測(cè)場(chǎng)景，含有黑色幕布以及在該黑色幕布前根據(jù)預(yù)定距離等距平行設(shè)置有等長(zhǎng)的若干個(gè)白色木棍；

毫米波雷達(dá)，用于對(duì)所述檢測(cè)場(chǎng)景進(jìn)行檢測(cè)，得到每個(gè)所述白色木棍在對(duì)應(yīng)于水平面的雷達(dá)坐標(biāo)系中x軸與y軸上的坐標(biāo)值Xrn以及Yrn；

攝像頭，用于對(duì)所述檢測(cè)場(chǎng)景進(jìn)行拍攝得到木棍圖像；

中心點(diǎn)確定部，對(duì)所述木棍圖像進(jìn)行數(shù)字圖像處理得到每個(gè)所述白色木棍的木棍中心點(diǎn)在所述木棍圖像中的坐標(biāo)值作為該白色木棍在對(duì)應(yīng)于豎平面的圖像坐標(biāo)系中y軸與z軸上的坐標(biāo)值Ycn以及Zcn；

坐標(biāo)融合部，根據(jù)所述預(yù)定距離、所述白色木棍在所述雷達(dá)坐標(biāo)系中的坐標(biāo)以及在所述圖像坐標(biāo)系中的坐標(biāo)值，將所述圖像坐標(biāo)系以及所述雷達(dá)坐標(biāo)系基于所述y軸進(jìn)行映射從而完成所述圖像坐標(biāo)系以及所述雷達(dá)坐標(biāo)系的融合。