[發明專利]雷達數據和圖像數據的融合方法及系統在審
| 申請號： | 201810831204.8 | 申請日： | 2018-07-26 |
| 公開（公告）號： | CN109143241A | 公開（公告）日： | 2019-01-04 |
| 發明（設計）人： | 戴一凡;曾勇;盧賢票;徐巍 | 申請（專利權）人： | 清華大學蘇州汽車研究院（吳江） |
| 主分類號： | G01S13/93 | 分類號： | G01S13/93;G01S13/86 |
| 代理公司： | 蘇州創元專利商標事務所有限公司 32103 | 代理人： | 范晴;丁浩秋 |
| 地址： | 215200 江*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 感興趣區域 雷達數據 圖像數據 融合 雷達 線程 投影 繪制 采集 圖像 攝像機像素 識別和分類 像素坐標系 障礙物信息 變換矩陣 特征提取 同步處理 圖像處理 轉換矩陣 坐標變換 障礙物 傳感器 標定 攝像機 網絡 聯合 學習 | ||
1.一種雷達數據和圖像數據的融合方法，其特征在于，包括以下步驟：
S01：將雷達數據的采集線程與圖像數據的采集線程進行同步處理，實現兩類傳感器在時間上的融合；
S02：通過對雷達與攝像機的聯合標定得到雷達坐標系至攝像機像素坐標系的變換矩陣；
S03：將雷達所獲取的信息經坐標變換投影至圖像中，繪制感興趣區域；
S04：對感興趣區域內的目標采用深度學習網絡對圖像進行特征提取，進行識別和分類。
2.根據權利要求1所述的雷達數據和圖像數據的融合方法，其特征在于，所述步驟S01中同步處理包括以下步驟：
圖像數據采集線程處于阻塞狀態，其等待雷達數據采集線程觸發后采集當前時刻的一幀圖像，將當前時刻的雷達數據和圖像數據組合一起添加到緩沖區隊列尾，圖像數據采集線程恢復為阻塞狀態。
3.根據權利要求1所述的雷達數據和圖像數據的融合方法，其特征在于，所述步驟S03中，將雷達探測到的障礙物目標的中心作為候選框的中心點，再按設定的候選框大小繪制感興趣區域。
4.一種雷達數據和圖像數據的融合系統，其特征在于，包括，
時間融合模塊，將雷達數據的采集線程與圖像數據的采集線程進行同步處理，實現兩類傳感器在時間上的融合；
坐標轉換矩陣生成模塊，通過對雷達與攝像機的聯合標定得到雷達坐標系至攝像機像素坐標系的變換矩陣；
感興趣區域繪制模塊，將雷達所獲取的信息經坐標變換投影至圖像中，繪制感興趣區域；
識別和分類模塊，對感興趣區域內的目標采用深度學習網絡對圖像進行特征提取，進行識別和分類。
5.根據權利要求4所述的雷達數據和圖像數據的融合系統，其特征在于，所述時間融合模塊的同步處理包括以下步驟：
圖像數據采集線程處于阻塞狀態，其等待雷達數據采集線程觸發后采集當前時刻的一幀圖像，將當前時刻的雷達數據和圖像數據組合一起添加到緩沖區隊列尾，圖像數據采集線程恢復為阻塞狀態。
6.根據權利要求4所述的雷達數據和圖像數據的融合系統，其特征在于，所述感興趣區域繪制模塊，將雷達探測到的障礙物目標的中心作為候選框的中心點，再按設定的候選框大小繪制感興趣區域。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于清華大學蘇州汽車研究院（吳江），未經清華大學蘇州汽車研究院（吳江）許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810831204.8/1.html，轉載請聲明來源鉆瓜專利網。
