[發(fā)明專利]一種提取偽圖像特征的圖像和毫米波雷達(dá)目標(biāo)的匹配方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202211545815.9
• 申請(qǐng)日: 2022-12-05
• 公開（公告）號(hào): CN115546519B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 楊超;劉國(guó)清;楊廣;王啟程
• 申請(qǐng)（專利權(quán)）人: 深圳佑駕創(chuàng)新科技有限公司
• 主分類號(hào): G06V10/74
• 分類號(hào): G06V10/74;G06V10/774;G06V10/80;G06V10/82;G01S13/86
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 江嘉玲

本申請(qǐng)涉及一種提取偽圖像特征的圖像和毫米波雷達(dá)目標(biāo)的匹配方法，其包括基于時(shí)間同步下的圖像和該時(shí)間下的毫米波雷達(dá)目標(biāo)，將毫米波雷達(dá)目標(biāo)投影到圖像上；標(biāo)注圖像的目標(biāo)區(qū)域，將目標(biāo)區(qū)域與毫米波雷達(dá)目標(biāo)一一對(duì)應(yīng)，獲得匹配關(guān)系，并根據(jù)圖像目標(biāo)區(qū)域和毫米波雷達(dá)目標(biāo)的信息，構(gòu)建偽圖像；根據(jù)匹配關(guān)系監(jiān)督訓(xùn)練得到第一特征提取模型，提取偽圖像的圖像特征，將圖像特征進(jìn)行融合；提取目標(biāo)點(diǎn)特征和雷達(dá)點(diǎn)特征，采用第二特征提取模型進(jìn)行特征再加工，并結(jié)合匹配關(guān)系監(jiān)督訓(xùn)練第二特征提取模型，獲得目標(biāo)特征提取模型后輸出待匹配特征；采用匹配模型對(duì)待匹配特征進(jìn)行最優(yōu)匹配，得到匹配矩陣后解析。本申請(qǐng)具有提高匹配準(zhǔn)確率的效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及自動(dòng)駕駛技術(shù)領(lǐng)域，尤其是涉及一種提取偽圖像特征的圖像和毫米波雷達(dá)目標(biāo)的匹配方法。

背景技術(shù)

目前，自動(dòng)駕駛車輛面臨的挑戰(zhàn)之一是復(fù)雜場(chǎng)景中的精確目標(biāo)檢測(cè)和跟蹤，而當(dāng)前的視覺目標(biāo)檢測(cè)和跟蹤算法已經(jīng)達(dá)到了性能上限，與視覺算法中的視覺傳感器相比，毫米波雷達(dá)的檢測(cè)性能受極端天氣的影響較小，此外，毫米波雷達(dá)不僅可以測(cè)量距離，還可以利用運(yùn)動(dòng)物體反射信號(hào)的多普勒效應(yīng)測(cè)量速度矢量，并且具有穿透性，受遮擋的影響小，在遮擋情況下更具備跟蹤條件。

但是，毫米波雷達(dá)在識(shí)別3D目標(biāo)時(shí)是聚類為一個(gè)目標(biāo)點(diǎn)，分辨率較低，難以提供目標(biāo)的準(zhǔn)確輪廓和外觀信息。同時(shí)視覺目標(biāo)檢測(cè)易受遮擋和極端天氣的影響，并且無法測(cè)量自車與目標(biāo)的距離和相對(duì)速度。

針對(duì)上述中的相關(guān)技術(shù)，發(fā)明人發(fā)現(xiàn)現(xiàn)有的圖像目標(biāo)和毫米波雷達(dá)目標(biāo)在匹配時(shí)存在有準(zhǔn)確率較低的問題。

發(fā)明內(nèi)容

為了提高圖像目標(biāo)和毫米波雷達(dá)目標(biāo)的匹配準(zhǔn)確率，本申請(qǐng)?zhí)峁┝颂嵋环N提取偽圖像特征的圖像和毫米波雷達(dá)目標(biāo)的匹配方法。

第一方面，本申請(qǐng)?zhí)峁┮环N提取偽圖像特征的圖像和毫米波雷達(dá)目標(biāo)的匹配方法。

本申請(qǐng)是通過以下技術(shù)方案得以實(shí)現(xiàn)的：

一種提取偽圖像特征的圖像和毫米波雷達(dá)目標(biāo)的匹配方法，包括以下步驟，

基于時(shí)間同步下的圖像和該時(shí)間下的毫米波雷達(dá)目標(biāo)，將所述毫米波雷達(dá)目標(biāo)投影到所述圖像上，獲得所述毫米波雷達(dá)目標(biāo)在所述圖像上的雷達(dá)點(diǎn)坐標(biāo)；

標(biāo)注所述圖像的目標(biāo)區(qū)域，將屬于真實(shí)世界的同一個(gè)目標(biāo)物體的所述的圖像的目標(biāo)區(qū)域與所述毫米波雷達(dá)目標(biāo)一一對(duì)應(yīng)，獲得匹配關(guān)系，并根據(jù)所述圖像的目標(biāo)區(qū)域和所述毫米波雷達(dá)目標(biāo)的信息，構(gòu)建偽圖像；

根據(jù)所述匹配關(guān)系監(jiān)督訓(xùn)練得到第一特征提取模型，基于所述第一特征提取模型，提取所述偽圖像的圖像特征，將所述圖像特征進(jìn)行融合，得到全局特征；

提取所述全局特征中所述圖像的目標(biāo)區(qū)域的目標(biāo)點(diǎn)特征和所述毫米波雷達(dá)目標(biāo)的雷達(dá)點(diǎn)特征；

基于所述目標(biāo)點(diǎn)特征和所述雷達(dá)點(diǎn)特征，采用第二特征提取模型進(jìn)行特征再加工，并結(jié)合所述匹配關(guān)系監(jiān)督訓(xùn)練所述第二特征提取模型，獲得目標(biāo)特征提取模型后輸出待匹配特征；

采用匹配模型對(duì)所述待匹配特征進(jìn)行最優(yōu)匹配，得到匹配矩陣；

基于所述匹配矩陣，解析出所述圖像和所述毫米波雷達(dá)目標(biāo)的匹配結(jié)果。

本申請(qǐng)?jiān)谝惠^佳示例中可以進(jìn)一步配置為：還包括以下步驟，

所述待匹配特征包括圖像目標(biāo)點(diǎn)特征和雷達(dá)點(diǎn)特征，對(duì)所述圖像目標(biāo)點(diǎn)特征和所述雷達(dá)點(diǎn)特征進(jìn)行內(nèi)積計(jì)算，得到得分矩陣；

采用匹配模型，將所述得分矩陣經(jīng)過優(yōu)化匹配層進(jìn)行最優(yōu)匹配，得到目標(biāo)擴(kuò)充矩陣；

根據(jù)所述目標(biāo)擴(kuò)充矩陣得到匹配矩陣，初始化回歸參數(shù)，將所述回歸參數(shù)放入優(yōu)化匹配層中進(jìn)行迭代，并通過監(jiān)督訓(xùn)練得到回歸參數(shù)。