[發明專利]一種毫米波雷達與視覺融合透霧目標識別算法處理方法

在審

• 申請號: 202110384066.5
• 申請日: 2021-04-09
• 公開（公告）號: CN113189581A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 畢欣;許志秋;熊璐;楊士超;張博
• 申請（專利權）人: 同濟大學
• 主分類號: G01S13/86
• 分類號: G01S13/86;G01S13/931;G01S7/02;G06K9/00;G06K9/32;G06K9/62;G06T5/00;G06T7/73;G06T7/80
• 代理公司: 江蘇長德知識產權代理有限公司 32478
• 代理人: 馮娟

本發明公開了一種毫米波雷達與視覺融合透霧目標識別算法處理方法，屬于汽車自動化控制技術領域，其算法包括雷達識別層、視覺識別層和信息融合決策層，它們在執行算法處理時，包括權利要求一所述全部步驟；本發明，通過將雨霧天氣下能見度低的圖片進行圖像去霧預處理，并根據毫米波雷達的關鍵特征信息進行有效目標篩選，其后在運用聯合標定方法原理下，使用時間配準與坐標變換實現毫米波雷達與相機的時空信息融合，以獲取相應的ROI區域，并通過改進YOLO網絡對ROI區域的目標進行結果識別，以提高結果識別的置信度，最終在加權信息決策的算法輔助下，目標識別的準確率和可靠性大大提高。

技術領域

本發明屬于汽車自動化控制技術領域，具體涉及一種毫米波雷達與視覺融合透霧目標識別算法處理方法。

背景技術

隨著國家大力推進人工智能的發展和智能交通行業的快速形成，智能停車、車聯網、自動駕駛等領域的快速發展。目標檢測技術成為了重要的研究方向。目標檢測是自動駕駛領域最重要和基礎的研究領域。車輛的自動駕駛離不開對周圍障礙物的精確快速檢測。在目標檢測中車輛依靠傳感器獲取車輛周圍的信息，包括激光雷達，毫米波雷達，超聲波雷達，視覺相機等。激光雷達抗干擾能力較強、分辨率高，測距精確度高，但是在雨霧天氣下適用性較差，且數據以點云格式輸出，計算量較大；毫米波雷達測距精度較低，但是穿透性強，具有全天候、全天時的特點，適用于相對惡劣環境，且數據量小。為了保證車輛安全，精確實現環境感知，需采用多傳感器融合技術進行數據冗余處理。

現有的毫米波雷達和視覺融合的目標檢測與識別在研究中存在以下問題：1、融合算法不能充分利用毫米波雷達信息。如果僅使用目標的位置信息來定義ROI，則結果可能會覆蓋多余的區域；2、目前的融合算法的目標分類器仍采用傳統的機器學習算法，識別精度低，識別類型不夠全面，無法覆蓋各種重要的交通要素；3、融合算法沒有充分利用MMW雷達在雨霧天氣中的環境適應性，如雨，霧等常見天氣條件下的檢測和識別算法準確性較為低下。

發明內容

本發明的目的在于提供一種毫米波雷達與視覺融合透霧目標識別算法處理方法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種毫米波雷達與視覺融合透霧目標識別算法處理方法，算法包括雷達識別層、視覺識別層和信息融合決策層，它們在執行算法處理時，包括以下步驟：

S1、獲取原始輸入的視覺圖像和毫米波雷達數據；

S2、計算輸入視覺圖像的平均透射率，對雨霧天氣下能見度低的圖片進行圖像去霧預處理；

S3、雷達識別層根據毫米波雷達的關鍵特征信息進行有效目標篩選,并將篩選結果送入融合層；

S4、融合層進行坐標變換、時間配準將目標映射至對應圖像，得到相應的ROI區域，并送入視覺識別層；

S5、視覺識別層通過改進YOLO網絡對ROI區域目標進行識別，將計算得到的目標類別置信度與位置包圍框識別結果送入融合層；

S6、融合層考慮亳米波雷達和視覺識別結果進行加權信息決策，得到最終的識別結果。

進一步地，所述S2中對雨霧天氣下能見度低的圖片的圖像去霧預處理采用暗通道先驗去霧算法。

進一步地，所述S4中融合層進行坐標變換、時間配準將目標映射至對應圖像，得到相應的ROI區域，包括：

利用有效目標在雷達坐標系中的位置信息，通過時間配準和式可以將雷毫米波雷達坐標變換至對應圖像中的一點，由于該點與毫米波雷達所測得的目標相對應，該圖像點通常落在目標的圖像輪廓內部；

以該點為中心選定適當大小的矩形區域作為目標圖像ROI區域。

進一步地，所述融合層進行坐標變換、時間配準分別為建立統一的坐標系和時間戳可以讓毫米波雷達與視覺信息產生關聯，以實現傳感器的時空信息融合。