[發(fā)明專利]雷達(dá)和視頻融合系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711146411.1
• 申請(qǐng)日: 2017-11-17
• 公開(kāi)（公告）號(hào): CN109799493A
• 公開(kāi)（公告）日: 2019-05-24
• 發(fā)明（設(shè)計(jì)）人: 王宗博;冀連營(yíng)
• 申請(qǐng)（專利權(quán)）人: 北京木牛領(lǐng)航科技有限公司
• 主分類(lèi)號(hào): G01S7/41
• 分類(lèi)號(hào): G01S7/41;G01S13/02
• 代理公司: 北京律和信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11446
• 代理人: 劉國(guó)偉;鮑曉芳

1.一種雷達(dá)和視頻融合系統(tǒng)，其特征在于，所述系統(tǒng)包括FPGA處理器，其特征在于，

FPGA處理器包括目標(biāo)識(shí)別單元、雷達(dá)信號(hào)處理單元和信息融合單元，其中，

所述目標(biāo)識(shí)別單元從視頻傳感器接收視頻信號(hào)，并進(jìn)行信號(hào)處理，得到第一目標(biāo)信息傳輸給所述信息融合單元；

所述雷達(dá)信號(hào)處理單元從雷達(dá)傳感器接收雷達(dá)信號(hào)，并進(jìn)行信號(hào)處理，得到第二目標(biāo)信息傳輸給所述信息融合單元；

所述信息融合單元接收所述的第一目標(biāo)信息和第二目標(biāo)信息，并對(duì)第一目標(biāo)信息和第二目標(biāo)信息進(jìn)行融合和校驗(yàn)，之后輸出控制信息。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于,所述系統(tǒng)還包括視頻傳感器、雷達(dá)傳感器，所述視頻傳感器傳輸視頻輸入到所述目標(biāo)識(shí)別單元，所述雷達(dá)傳感器傳輸雷達(dá)回波信號(hào)到所述雷達(dá)信號(hào)處理單元。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述的FPGA處理器還包括下列單元:可編程I/O口、嵌入式塊RAM、內(nèi)嵌專用硬核單元、布線，上述單元的連接關(guān)系同常規(guī)FPGA處理器中這些單元的連接關(guān)系。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述目標(biāo)識(shí)別單元還包括深度圖提取單元，對(duì)來(lái)自第一視頻傳感器的第一視頻輸入和來(lái)自第二視頻傳感器的第二視頻輸入進(jìn)行“深度圖提取”，得到第一目標(biāo)信息傳輸給所述信息融合單元。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述的目標(biāo)識(shí)別單元和雷達(dá)信號(hào)處理單元是FPGA處理器的基本可編程邏輯單元。

6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述的信息融合單元是FPGA處理器的底層嵌入功能單元。

7.根據(jù)權(quán)利要求1和2所述的系統(tǒng),其特征在于，所述的雷達(dá)傳感器是毫米波雷達(dá)傳感器。

8.一種雷達(dá)和視頻融合方法，所述方法包括以下步驟：

A.利用目標(biāo)識(shí)別單元從視頻傳感器接收視頻信號(hào)，并進(jìn)行存儲(chǔ)和有效信息提取、亮色分離、出錯(cuò)判決信號(hào)處理，得到第一目標(biāo)信息傳輸給所述信息融合單元；

B.利用雷達(dá)信號(hào)處理單元從雷達(dá)傳感器接收雷達(dá)信號(hào)，并進(jìn)行信號(hào)處理，該信號(hào)處理包括數(shù)據(jù)重采樣、自適應(yīng)濾波、脈沖壓縮、參數(shù)估計(jì)、恒虛警處理、自適應(yīng)波速形成，得到第二目標(biāo)信息傳輸給所述信息融合單元；

C.利用信息融合單元接收所述的第一目標(biāo)信息和第二目標(biāo)信息，并對(duì)第一目標(biāo)信息和第二目標(biāo)信息進(jìn)行融合和校驗(yàn)，之后輸出控制信息。

9.根據(jù)權(quán)利要求8所述的方法,其特征在于，對(duì)于步驟A，還包括利用所述目標(biāo)識(shí)別單元的深度圖提取單元對(duì)第一視頻輸入和第二視頻輸入進(jìn)行深度圖提取，所述深度圖提取流程包括五個(gè)模塊：圖像獲取、攝像機(jī)標(biāo)定、圖像匹配、三維恢復(fù)和視頻分析。

10.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述控制信息包括目標(biāo)編號(hào)、類(lèi)型、距離、速度和角度。