[發(fā)明專利]一種集成式環(huán)境感知與多目標跟蹤系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110485390.6
• 申請日: 2021-04-30
• 公開（公告）號: CN113139986A
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計）人: 李鳳鳴;張志勇;馬佳佳;付暢;徐軍
• 申請（專利權(quán)）人: 東風(fēng)越野車有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06K9/00;G06K9/46
• 代理公司: 武漢開元知識產(chǎn)權(quán)代理有限公司 42104
• 代理人: 俞鴻;王亞萍

本發(fā)明公開了一種集成式環(huán)境感知與多目標跟蹤系統(tǒng)。它包括圖像采集系統(tǒng)用于實時采集機動目標周圍圖像進行預(yù)處理，發(fā)送至圖像拼接投影系統(tǒng)和目標識別跟蹤系統(tǒng)；圖像拼接投影系統(tǒng)用于對接收的圖像進行拼接并進行3D投影形成3D全景影像發(fā)送至顯示控制系統(tǒng)；目標識別跟蹤系統(tǒng)用于從接收的圖像中識別出敏感目標、對識別出的敏感目標進行框選并疊加輸出至3D全景影像內(nèi)，用于對已識別的敏感目標進行持續(xù)識別跟蹤、對選擇的特定目標進行鎖定并持續(xù)識別跟蹤；顯示控制系統(tǒng)用于顯示3D全景影像，用于觸控選擇特定目標。本發(fā)明能有效提高系統(tǒng)環(huán)境感知距離、拓展機動目標乘員視野、全方位提高乘員識別野外復(fù)雜環(huán)境的能力。

技術(shù)領(lǐng)域

本發(fā)明屬于汽車智能輔助駕駛技術(shù)領(lǐng)域，具體涉及一種集成式環(huán)境感知與多目標跟蹤系統(tǒng)，尤其涉及圖像拼接、識別和跟蹤的計算機視覺技術(shù)。

背景技術(shù)

近年來，隨著人工智能研究熱潮的興起，智能化設(shè)備逐漸走入日常生活，而機動目標正是智能化技術(shù)應(yīng)用的良好載體。例如全景環(huán)視、前向碰撞預(yù)警、交通標志識別等系統(tǒng)正是采用了計算機視覺技術(shù)，尤其涉及圖像拼接、目標識別與跟蹤算法的應(yīng)用。圖像拼接技術(shù)主要是將多張有視野重合的小范圍圖像進行拼接融合，構(gòu)成全景范圍內(nèi)大視野圖像，能有效彌補駕駛員視野盲區(qū)；目標識別與跟蹤技術(shù)的基本思路為采用大量的先驗樣本對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，通過匹配相似特征點的方式對目標進行逐幀識別與跟蹤。但現(xiàn)有全景環(huán)視技術(shù)多局限于機動目標周邊、近距離應(yīng)用，且僅展示全局范圍內(nèi)視野成像，無法放大，或針對于局部、特定目標進行跟蹤與成像，但這恰恰在野外復(fù)雜環(huán)境觀察方面有較大的應(yīng)用價值。

現(xiàn)有車載全景環(huán)視系統(tǒng)多采用4路魚眼攝像頭或廣角攝像頭，分別布置在機動目標四周，這種車載全景環(huán)視系統(tǒng)雖然視野范圍廣，但遠處物體所占像素較低，無法做到有效的遠距離目標觀察；且不具有目標識別和跟蹤功能，不具備特定目標鎖定與放大跟蹤功能。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了解決上述背景技術(shù)存在的不足，提供一種集成式環(huán)境感知與多目標跟蹤系統(tǒng)。

本發(fā)明采用的技術(shù)方案是：一種集成式環(huán)境感知與多目標跟蹤系統(tǒng)，包括

圖像采集系統(tǒng)，用于實時采集機動目標周圍圖像并對采集的圖像進行預(yù)處理，將預(yù)處理后的圖像發(fā)送至圖像拼接投影系統(tǒng)和目標識別跟蹤系統(tǒng)；

圖像拼接投影系統(tǒng)，用于對接收的圖像進行拼接并進行3D投影形成3D全景影像發(fā)送至顯示控制系統(tǒng)；

目標識別跟蹤系統(tǒng)，用于采用目標跟蹤算法從接收的圖像中識別出敏感目標、對識別出的敏感目標進行框選并疊加輸出至3D全景影像內(nèi)，用于對已識別的敏感目標進行持續(xù)識別跟蹤、對選擇的特定目標進行鎖定并持續(xù)識別跟蹤，所述特定目標為任意一種敏感目標；

顯示控制系統(tǒng)，用于顯示3D全景影像、用于觸控選擇特定目標。

進一步地，所述預(yù)處理包括：將采集的視頻圖像轉(zhuǎn)換為可識別的RGB模式圖像，根據(jù)已標定好的攝像頭內(nèi)參矩陣以及畸變系數(shù)對轉(zhuǎn)換后的圖像進行畸變矯正，根據(jù)逆透視變換公式將矯正后的圖像由側(cè)視圖變?yōu)楦┮晥D。

進一步地，所述對接收的圖像進行拼接的過程為：對預(yù)處理后的圖像采用Surf算法提取源圖像和目標圖像的特征點，對所述特征點進行匹配，采用RANSAC算法對特征匹配點進行提純操作，篩選出最優(yōu)匹配點后計算仿射變換矩陣完成圖像配準，采用加權(quán)平均法消除配準后圖像的接縫形成完整二維拼接圖像，將二維拼接圖像投射到由橢球面和組合曲面構(gòu)成的三維空間內(nèi)形成3D全景影像。

進一步地，所述目標跟蹤算法包括以下步驟：

S1、根據(jù)SSD檢測算法計算當前幀圖像中敏感目標的置信度與位置信息，若所述置信度大于等于置信度閾值，則保留所述位置信息；

S2、根據(jù)所述位置信息確定敏感目標的SURF特征，根據(jù)SURF特征計算SURF匹配值及確定敏感目標的初定位位置；