[發明專利]一種集成式環境感知與多目標跟蹤系統

在審

• 申請號: 202110485390.6
• 申請日: 2021-04-30
• 公開（公告）號: CN113139986A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 李鳳鳴;張志勇;馬佳佳;付暢;徐軍
• 申請（專利權）人: 東風越野車有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06K9/00;G06K9/46
• 代理公司: 武漢開元知識產權代理有限公司 42104
• 代理人: 俞鴻;王亞萍

1.一種集成式環境感知與多目標跟蹤系統，其特征在于：包括

圖像采集系統，用于實時采集機動目標周圍圖像并對采集的圖像進行預處理，將預處理后的圖像發送至圖像拼接投影系統和目標識別跟蹤系統；

圖像拼接投影系統，用于對接收的圖像進行拼接并進行3D投影形成3D全景影像發送至顯示控制系統；

目標識別跟蹤系統，用于采用目標跟蹤算法從接收的圖像中識別出敏感目標、對識別出的敏感目標進行框選并疊加輸出至3D全景影像內，用于對已識別的敏感目標進行持續識別跟蹤、對選擇的特定目標進行鎖定并持續識別跟蹤，所述特定目標為任意一種敏感目標；

顯示控制系統，用于顯示3D全景影像、用于觸控選擇特定目標。

2.根據權利要求1所述的集成式環境感知與多目標跟蹤系統，其特征在于：所述預處理包括：將采集的視頻圖像轉換為可識別的RGB模式圖像，根據已標定好的攝像頭內參矩陣以及畸變系數對轉換后的圖像進行畸變矯正，根據逆透視變換公式將矯正后的圖像由側視圖變為俯視圖。

3.根據權利要求1所述的集成式環境感知與多目標跟蹤系統，其特征在于：所述對接收的圖像進行拼接的過程為：對預處理后的圖像采用Surf算法提取源圖像和目標圖像的特征點，對所述特征點進行匹配，采用RANSAC算法對特征匹配點進行提純操作，篩選出最優匹配點后計算仿射變換矩陣完成圖像配準，采用加權平均法消除配準后圖像的接縫形成完整二維拼接圖像，將二維拼接圖像投射到由橢球面和組合曲面構成的三維空間內形成3D全景影像。

4.根據權利要求1所述的集成式環境感知與多目標跟蹤系統，其特征在于：所述目標跟蹤算法包括以下步驟：

S1、根據SSD檢測算法計算當前幀圖像中敏感目標的置信度與位置信息，若所述置信度大于等于置信度閾值，則保留所述位置信息；

S2、根據所述位置信息確定敏感目標的SURF特征，根據SURF特征計算SURF匹配值及確定敏感目標的初定位位置；

S3、若SURF匹配值大于等于匹配閾值，則確定所述初定位位置為敏感目標的實際定位位置，基于所述實際定位位置框選出特定目標。

5.根據權利要求4所述的集成式環境感知與多目標跟蹤系統，其特征在于：確定敏感目標的SURF特征的過程為：根據所述位置信息利用跟蹤模型計算敏感目標的特征向量，基于所述特征向量計算Siamese_fc_score值，根據Siamese_fc_score值提取敏感目標的顏色特征，根據顏色特征計算顏色直方圖相似度，從顏色直方圖相似度中提取機動目標SURF特征。

6.根據權利要求1所述的集成式環境感知與多目標跟蹤系統，其特征在于：所述持續識別跟蹤為對采集的每一幀圖像均采用目標跟蹤算法識別并框選出敏感目標。

7.根據權利要求1所述的集成式環境感知與多目標跟蹤系統，其特征在于：對選擇的特定目標進行鎖定并持續識別跟蹤的過程為：

S1、手動觸屏點選顯示控制系統上顯示的已框選出的某一敏感目標作為特定目標，讀取觸屏位置點后，將讀取的位置點坐標與鄰近的識別框四個角點坐標進行比較，當位置點坐標在其區間內時，選擇最小面積識別框作為目標識別框；

S2、計算顯示控制系統坐標系下目標識別框的中心點像素坐標，根據目標識別框的中心點像素坐標通過逆仿射變換矩陣，得到3D全景環視模型坐標系下目標識別框的中心點像素坐標；

S3、根據3D全景環視模型坐標系下目標識別框的中心點像素坐標控制全自動跟蹤鷹眼攝像頭旋轉到在其自身坐標系下的坐標，從而完成特定目標的位置鎖定，然后采用目標跟蹤算法對鎖定的特定目標進行持續識別跟蹤。

8.根據權利要求7所述的集成式環境感知與多目標跟蹤系統，其特征在于：特定目標在持續識別跟蹤過程中，采用PID算法控制全自動跟蹤鷹眼攝像頭的控制電機旋轉，保持目標識別框中點與鷹眼攝像頭的視野中心位置重合。