[發明專利]雷達與視覺融合的車輛識別方法、裝置、設備及介質

有效

• 申請號: 202111365722.3
• 申請日: 2021-11-18
• 公開（公告）號: CN113807471B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 周迪;曹廣;陳力恒;王勛;張帥;陳衛剛;劉東升;徐愛華
• 申請（專利權）人: 浙江宇視科技有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V20/58;G06K9/62;G01S13/86
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 劉臣剛

1.一種雷達與視覺融合的車輛識別方法，其特征在于，所述方法包括：

依據從目標車輛視覺圖像中提取的目標視覺圖像特征信息進行車輛類別與位置檢測，得到目標車輛檢測預測概率信息；所述車輛檢測預測概率信息包括基于車輛視覺圖像預測識別車輛類別和位置時的正樣本概率，所述車輛檢測預測概率信息是對目標車輛行駛前方區域進行車輛位置檢測任務和細粒度的類型識別任務所得到的車輛類別與位置識別的預測概率圖；

將目標車輛雷達信息轉換為目標車輛視覺圖像坐標系下的目標車輛位置預測概率信息；將目標車輛雷達信息轉換為目標車輛視覺圖像坐標系下的目標車輛位置預測概率信息，包括：將毫米波雷達采集得到的目標車輛雷達信息送入預設車輛檢測模型中的預訓練車輛位置透視轉換單元，轉換得到目標車輛雷達信息對應的單通道概率信息；其中所述單通道概率信息包括基于毫米波雷達信息進行車輛位置識別時的正樣本概率；依據目標車輛雷達信息對應的單通道概率信息，確定車輛位置識別的預測概率圖作為所述目標車輛位置預測概率信息；其中，所述預訓練車輛位置透視轉換單元隱式學習毫米波雷達至視覺圖像空間的變換關系，將雷達圖像與視覺圖像進行對齊；預訓練車輛位置透視轉換單元的輸入為毫米波雷達采集得到的車輛雷達信息，輸出為轉換至視覺圖像坐標后的車輛雷達檢測正樣本概率圖；目標車輛雷達信息與目標車輛視覺圖像在同一采集時刻朝向同一采集區域得到；

將所述目標車輛檢測預測概率信息與所述目標車輛位置預測概率信息進行融合，得到融合的預測概率信息，用以進行車輛識別。

2.根據權利要求1所述的方法，其特征在于，依據目標視覺圖像特征信息進行車輛類別與位置檢測，得到目標車輛檢測概率信息，包括：

采用預設車輛檢測模型中特征提取單元，從攝像頭采集的目標車輛視覺圖像中提取目標視覺圖像特征信息；

將目標視覺圖像特征信息送入預設車輛檢測模型中類別位置粗選單元，經激勵函數進行激活得到基于目標視覺圖像特征進行車輛類別與位置檢測時對應的目標車輛檢測預測概率信息；

其中，所述類別位置粗選單元基于卷積神經網絡進行訓練構建，所述車輛檢測預測概率信息包括預測識別車輛類別和位置時的正樣本概率。

3.根據權利要求1所述的方法，其特征在于，所述目標車輛雷達信息包括對毫米波雷達探測的障礙物相對毫米波雷達的方位信息進行轉化，所得到的俯視角度下平面坐標；所述方位信息包括距離與角度。

4.根據權利要求1所述的方法，其特征在于，所述預訓練車輛位置透視轉換單元的構建過程，包括：

將訓練用車輛雷達信息送入待訓練的車輛位置透視轉換單元，轉換得到訓練用車輛雷達信息對應的訓練用單通道概率圖；

確定訓練用車輛視覺圖像中預先標注的車輛標注框的中心點位置；所述訓練用車輛雷達信息與訓練用車輛視覺圖像在同一采集區域同時采集；

依據車輛標注框的中心點位置，對訓練用車輛視覺圖像的中心點圖進行高斯模糊處理弱化中心點周圍的像素值，得到模糊后的中心點圖；

根據所述訓練用單通道概率圖與模糊后的中心點圖之間的損失值，通過反向傳播對待訓練車輛位置透視轉換單元中可學習參數進行調整更新。

5.根據權利要求1所述的方法，其特征在于，依據目標車輛雷達信息對應的單通道概率信息確定所述目標車輛位置預測概率信息，包括：

對目標車輛雷達信息對應的單通道概率信息進行值翻轉操作，得到翻轉后的單通道概率信息；其中，所述翻轉后的單通道概率信息包括車輛位置識別時的負樣本概率；

將目標車輛雷達信息對應的單通道概率信息與翻轉后的單通道概率信息進行拼接，得到目標車輛雷達信息對應的雙通道概率信息；

將目標車輛雷達信息對應的雙通道概率信息進行復制，得到所述目標車輛位置預測概率信息，且使所述目標車輛位置預測概率信息的尺寸與目標視覺圖像特征信息的尺寸保持一致。

6.根據權利要求1所述的方法，其特征在于，所述目標車輛位置預測概率信息包括對通過多個攝像頭采集的車輛視覺圖像進行檢測到得到的車輛檢測預測概率信息。