[發(fā)明專利]一種基于毫米波雷達(dá)和視覺融合的夜間目標(biāo)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010699510.8
• 申請(qǐng)日: 2020-07-20
• 公開（公告）號(hào): CN111965636A
• 公開（公告）日: 2020-11-20
• 發(fā)明（設(shè)計(jì)）人: 唐小林;張志強(qiáng);徐正平;胡曉松;鄧忠偉;李佳承
• 申請(qǐng)（專利權(quán)）人: 重慶大學(xué)
• 主分類號(hào): G01S13/86
• 分類號(hào): G01S13/86;G01S13/66;G01S13/931
• 代理公司: 北京匯澤知識(shí)產(chǎn)權(quán)代理有限公司 11228
• 代理人: 武君

1.一種基于毫米波雷達(dá)和視覺融合的夜間目標(biāo)檢測(cè)方法，其特征在于：檢測(cè)方法具體為：

預(yù)處理基于毫米波雷達(dá)檢測(cè)的原始數(shù)據(jù)，針對(duì)有效目標(biāo)的航跡進(jìn)行初始化和跟蹤；

利用攝像頭采集與所述原始數(shù)據(jù)對(duì)應(yīng)的原始圖像；

將毫米波雷達(dá)檢測(cè)的有效目標(biāo)點(diǎn)投影至原始圖像上，生成感興趣區(qū)域；

針對(duì)感興趣區(qū)域內(nèi)的圖像進(jìn)行圖像增亮；

基于視覺深度學(xué)習(xí)，對(duì)圖像中的有效目標(biāo)進(jìn)行分類；

將目標(biāo)類別與毫米波雷達(dá)所測(cè)定的所述有效目標(biāo)的航跡相匹配。

2.根據(jù)權(quán)利要求1所述的基于毫米波雷達(dá)和視覺融合的夜間目標(biāo)檢測(cè)方法，其特征在于：

所述原始圖像為通過(guò)CMOS或者CCD圖像感應(yīng)器根據(jù)拜耳陣列將捕捉到的光源信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)的數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的基于毫米波雷達(dá)和視覺融合的夜間目標(biāo)檢測(cè)方法，其特征在于：所述針對(duì)感興趣區(qū)域內(nèi)的圖像進(jìn)行圖像增亮的方法具體為：

將所述原始圖像的拜耳陣列圖按照顏色拆解為四通道圖像；

對(duì)四通道圖像數(shù)據(jù)范圍進(jìn)行調(diào)整，減去黑電平使其最小值為零；

利用全卷積神經(jīng)網(wǎng)絡(luò)將調(diào)整后的四通道圖像進(jìn)行處理；

通過(guò)亞像素卷積，將全卷積神經(jīng)網(wǎng)絡(luò)輸出的圖像信息經(jīng)過(guò)亞像素卷積生成高分辨率的彩色圖像。

4.根據(jù)權(quán)利要求1所述的基于毫米波雷達(dá)和視覺融合的夜間目標(biāo)檢測(cè)方法，其特征在于：所述基于視覺深度學(xué)習(xí)，對(duì)圖像中的有效目標(biāo)進(jìn)行分類的方法具體為：

采集各交通參與者的圖像信息，并且將上述數(shù)據(jù)集隨機(jī)分為訓(xùn)練數(shù)據(jù)集，驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；

基于訓(xùn)練數(shù)據(jù)集，驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集以及ResNet101神經(jīng)網(wǎng)絡(luò)，訓(xùn)練ResNet101模型，保存權(quán)重文件；

將所述感興趣區(qū)域的圖像作為輸入圖片輸入至ResNet101模型中，經(jīng)過(guò)權(quán)重文件計(jì)算輸出目標(biāo)的種類。

5.根據(jù)權(quán)利要求1所述的基于毫米波雷達(dá)和視覺融合的夜間目標(biāo)檢測(cè)方法，其特征在于：所述預(yù)處理基于雷達(dá)檢測(cè)的原始數(shù)據(jù)，針對(duì)有效目標(biāo)的航跡進(jìn)行初始化和跟蹤的方法具體為：

去除所述原始數(shù)據(jù)中的無(wú)效目標(biāo)、靜止目標(biāo)以及冗余數(shù)據(jù)；

通過(guò)數(shù)據(jù)關(guān)聯(lián)的方式確定所述有效目標(biāo)，并初始化所述有效目標(biāo)的航跡，所述數(shù)據(jù)關(guān)聯(lián)的方式具體為：

式中:D為毫米波雷達(dá)測(cè)量的目標(biāo)相對(duì)距離；

V為毫米波雷達(dá)測(cè)量的目標(biāo)相對(duì)速度；

Φ為毫米波雷達(dá)測(cè)量的目標(biāo)角度；

d,v,為距離閾值，速度閾值，角度閾值；

m為每一周期雷達(dá)測(cè)量的目標(biāo)總數(shù)；

i為時(shí)間，j為每一周期的第j個(gè)雷達(dá)數(shù)據(jù)；

對(duì)已經(jīng)形成的航跡進(jìn)行跟蹤。

6.根據(jù)權(quán)利要求1所述的基于毫米波雷達(dá)和視覺融合的夜間目標(biāo)檢測(cè)方法，其特征在于：所述檢測(cè)方法還包括：

進(jìn)行攝像機(jī)標(biāo)定，建立圖像像素坐標(biāo)系和世界坐標(biāo)系的關(guān)系，根據(jù)雷達(dá)的安裝位置建立雷達(dá)坐標(biāo)系和世界坐標(biāo)系的轉(zhuǎn)換關(guān)系以及雷達(dá)坐標(biāo)到圖像像素坐標(biāo)的轉(zhuǎn)換關(guān)系；

其中，所述圖像像素坐標(biāo)系和世界坐標(biāo)系的轉(zhuǎn)換關(guān)系可表示為：

式中:R_C為鏡頭旋轉(zhuǎn)矩陣；

T_C為鏡頭平移矩陣；

f為鏡頭焦距；

uv為像素坐標(biāo)系；

X_wY_wZ_w為世界坐標(biāo)系；

(u₀,v₀)為像素坐標(biāo)系中的圖像平面中心點(diǎn)坐標(biāo)；

d_x,d_y表示感光芯片上像素的實(shí)際大小；

所述雷達(dá)坐標(biāo)系和世界坐標(biāo)系的轉(zhuǎn)換關(guān)系可表示為：

式中:X_RY_RZ_R為毫米波雷達(dá)坐標(biāo)系；

R_R為毫米波雷達(dá)旋轉(zhuǎn)矩陣；

T_R為毫米波雷達(dá)平移矩陣；

所述雷達(dá)坐標(biāo)到圖像像素坐標(biāo)的轉(zhuǎn)換關(guān)系可表示為：