[發明專利]一種基于毫米波雷達和視覺融合的夜間目標檢測方法

在審

• 申請號: 202010699510.8
• 申請日: 2020-07-20
• 公開（公告）號: CN111965636A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 唐小林;張志強;徐正平;胡曉松;鄧忠偉;李佳承
• 申請（專利權）人: 重慶大學
• 主分類號: G01S13/86
• 分類號: G01S13/86;G01S13/66;G01S13/931
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 武君

本發明公開了一種基于毫米波雷達和視覺融合的夜間目標檢測方法，具體為：預處理基于毫米波雷達檢測的原始數據；利用攝像頭采集與所述原始數據對應的原始圖像；將毫米波雷達檢測的有效目標點投影至原始圖像上，生成感興趣區域；針對感興趣區域內的圖像進行圖像增亮；基于視覺深度學習，對圖像中的有效目標進行分類；將目標類別與毫米波雷達所測定的所述有效目標的航跡相匹配。本發明利用相機采集原始圖像數據，同時結合毫米波雷達的全天候工作特性，利用目標反射點在圖像上生成感興趣區域內進行圖像增亮和目標檢測，利用視覺深度學習的優勢，實現對夜間行人、摩托車、汽車等目標的檢測，同時有效增強夜間目標檢測與跟蹤的準確度。

技術領域

本發明涉及無人駕駛環境感知領域，具體的，涉及一種基于毫米波雷達和視覺融合的夜間目標檢測方法。

背景技術

實現無人駕駛的首要前提是從環境中完美檢測出車輛和行人等交通參與者，因此基于攝像頭和毫米波雷達融合感知已經成為無人駕駛感知系統必不可少的部分。近年來，計算機視覺目標檢測技術飛速發展，通過對攝像頭采集的畫面進行特征提取和分析，快速分類出圖像中的目標種類和邊界框，同時進行跟蹤與運動分析，對目標未來狀態進行一定的預測，從而更好地規劃自車的行車軌跡。目前，大部分學者的研究主要集中在光線良好的日間圖像，然而夜間和照度低的行車場景比例很大，交通事故頻繁發生，給人們的生命財產帶來很大的損失。因此，研究夜間目標檢測對于提升無人駕駛安全性，減少交通事故有著重要的意義。

目前大部分夜間目標檢測的研究都集中在車輛檢測，主要是針對車燈特征分析進行車輛檢測，然而，夜間行車環境十分復雜，道路上還存在行人、摩托車、自行車等交通參與者，只針對汽車檢測根本不可能實現無人駕駛的任務。

發明內容

有鑒于此，本發明的目的是提供一種基于毫米波雷達和視覺融合的夜間目標檢測方法，1)采用毫米波雷達提供感興趣區域，減少計算量，提高識別速度；2)采集原始圖像數據，能夠獲得更豐富的圖像信息；3)同時對夜間行車環境中汽車、行人、摩托車、自行車等多種目標檢測；4)采用深度學習對圖像進行圖像增亮，圖像畫質佳。

本發明的目的是通過以下技術方案實現的：

一種基于毫米波雷達和視覺融合的夜間目標檢測方法，檢測方法具體為：

預處理基于毫米波雷達檢測的原始數據，針對有效目標的航跡進行初始化和跟蹤；

利用攝像頭采集與所述原始數據對應的原始圖像；

將毫米波雷達檢測的有效目標點投影至原始圖像上，生成感興趣區域；

針對感興趣區域內的圖像進行圖像增亮；

基于視覺深度學習，對圖像中的有效目標進行分類；

將目標類別與毫米波雷達所測定的所述有效目標的航跡相匹配。

利用目標反射點在圖像上生成感興趣區域，在感興趣區域內進行圖像增亮和目標檢測，能夠檢測行人、汽車、摩托車、自行車等多種交通參與者。

進一步，所述原始圖像為通過CMOS或者CCD圖像感應器根據拜耳陣列將捕捉到的光源信號轉化為數字信號的原始數據。

拜耳陣列模擬人眼對色彩的敏感程度，采用1紅2綠1藍的排列方式將灰度信息轉換成彩色信息，具有可靠性高的優點。

進一步，所述針對感興趣區域內的圖像進行圖像增亮的方法具體為：

將所述原始圖像的拜耳陣列圖按照顏色拆解為四通道圖像；

對四通道圖像數據范圍進行調整，減去黑電平使其最小值為零；

利用全卷積神經網絡將調整后的四通道圖像進行處理；

通過亞像素卷積，將全卷積神經網絡輸出的圖像信息經過亞像素卷積生成的高分辨率的彩色圖像。