[發明專利]一種基于ADS-B信息與時空匹配的航空器虛擬掛牌方法

在審

• 申請號: 202210442194.5
• 申請日: 2022-04-25
• 公開（公告）號: CN114881946A
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 張翔;于海飛;孟俊聰;李蘭;楊瑞菁
• 申請（專利權）人: 電子科技大學長三角研究院（衢州）
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/246;G06T7/70;G06K9/62;G06N3/04;G06N3/08;G06V10/74;G06V10/75;G06V10/82
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 李夢蝶

1.一種基于ADS-B信息與時空匹配的航空器虛擬掛牌方法，其特征在于，包括如下步驟：

S1、獲取全景監控視頻、對應幀的地面實況以及ADS-B信息并進行預處理，對高分辨率的全景圖像進行冗余分割，并將對應幀的地面實況和ADS-B坐標進行對應轉化，并對預處理后的數據進行命名保存；

S2、將S1中的預處理數據作為輸入，使用ResNet提取特征，結合提出的混合特征金字塔Mix-FPN獲取多尺度特征，并通過先驗區域生成網絡Priori RPN生成預測候選框和先驗候選框，利用感興趣區域池ROI Pooling獲取用于類別判定和邊界框回歸的特征；

S3、將S2中獲取的特征送入提出的時空匹配網絡，依次與歷史目標特征進行匹配，根據匹配策略進行結果匹配，將平均匹配度最高的預測結果作為檢測網絡的輸出，并對目標模板進行維護更新；

S4、利用跟蹤器對當前幀的目標跟蹤檢測結果與檢測網絡預測結果進行相似度匹配，根據判斷檢測結果更新維護跟蹤器的目標狀態；

S5、根據步驟S4的檢測框結果進行持續的航空器多目標位置跟蹤匹配，判斷定位信息是否缺失，若是則重新獲取定位信息，若不是，則根據航空器狀態與檢測框結果對航空器進行虛擬掛牌標識并展示。

2.根據權利要求1所述的基于全景多尺度檢測網絡與ADS-B信息的航空器虛擬掛牌方法，其特征在于，所述S1具體包括如下步驟：

S11、將ADS-B的坐標信息轉為真實世界的坐標，根據監控相機的布置位置，通過單應性矩陣進行坐標映射，得到各個航空器在高分辨率的全景視頻圖像中的對應坐標；

S12、通過滑動窗口將輸入的高分辨率的全景圖像與對應的底面實況圖像進行切割，裁剪尺寸的重疊比例為1/4的區域，作為預測的輸入圖像數據；

S13、將對應的ADS-B坐標信息以裁剪的左上角坐標進行平移變換，得到預處理圖像對應的ADS-B坐標信息。

3.根據權利要求1所述的基于全景多尺度檢測網絡與ADS-B信息的航空器虛擬掛牌方法，其特征在于，所述S2具體包括：

S21、使用S1中得到的預處理數據作為輸入，通過ResNet對輸入圖像提取特征，將不同層次的特征通過Mix-FPN處理得到用于預測的多尺度特征；

S22、先驗候選區域生成網絡Priori RPN通過原始候選生成網絡RPN生成候選框，同時通過ADS-B的定位信息生成先驗的目標區域概率圖和對應的標記信息，生成額外的候選框；

S23、將候選框區域的多尺度特征進行感興趣區域作為預測特征，通過Soft-NMS處理得到目標類別判定和檢測框，訓練時采用完全交并比損失函數CIOULoss和二值交叉熵損失函數binary cross-entropyLoss作為邊框回歸和類別預測的損失函數。

4.根據權利要求3所述的基于ADS-B信息與時空匹配的航空器虛擬掛牌方法，其特征在于，所述S21中用于預測的多尺度特征表示為：

其中Conv表示卷積層，Down表示下采樣，Up表示上采樣，表示通道維度的特征拼接，表示用于預測的多尺度特征，F₁,F₂,F₃為FPN網絡的輸出特征，表示為：

Conv為標識卷積層，Down_×2為下采樣操作，{X₁,X₂,X₃}為ResNet中不同層次的輸出特征。

5.根據權利要求3所述的基于全景多尺度檢測網絡與ADS-B信息的航空器虛擬掛牌方法，其特征在于，所述S22中根據ADS-B信息生成目標區域的概率圖和對應標記信息在概率中心添加錨點，并分別使用1:1、2:1、3:1的錨形狀作為RPN網絡的先驗候選框，原始候選框與先驗候選框分別通過坐標映射到多尺度特征圖，進行后續的類別預測和邊框回歸。