[發明專利]機場跑道異物檢測方法、裝置及存儲介質

有效

• 申請號: 202011639474.2
• 申請日: 2020-12-31
• 公開（公告）號: CN112686172B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 許學凡;陳曉林;姜官男;譚越;龔成;劉峰;黃高陽
• 申請（專利權）人: 上海微波技術研究所（中國電子科技集團公司第五十研究所）
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V20/60;G06V10/82;G06N3/08
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

1.一種機場跑道異物檢測方法，其特征在于，包括：

獲取第一圖像，所述第一圖像為初始圖像流中非第一幀的圖像；

對所述第一圖像進行超分辨處理，得到第二圖像；

將所述第二圖像輸入到訓練完成的機場跑道異物檢測模型中，得到第一檢測結果；

所述對所述第一圖像進行超分辨處理，得到第二圖像，包括：

獲取所述第一圖像的構造Structure信息與細節Details信息，以及第三圖像的Structure信息與Details信息；所述第三圖像為所述初始圖像流中所述第一圖像的前一幀圖像；

依據所述第一圖像的Structure信息與Details信息，以及所述第三圖像的Structure信息與Details信息，確定目標Structure信息與目標Details信息；

對所述目標Structure信息與所述目標Details信息進行拼接，得到所述第二圖像；

將所述第二圖像輸入到訓練完成的機場跑道異物檢測模型中，得到第一檢測結果之前，所述方法還包括：

建立初始機場跑道異物檢測模型；

將訓練樣本輸入到所述初始機場跑道異物檢測模型中，得到初始檢測結果，所述訓練樣本包括樣本圖像以及對所述樣本圖像的標注信息；

根據所述標注信息與所述初始檢測結果，對所述初始機場跑道異物檢測模型的網絡參數進行調整，直至所述初始機場跑道異物檢測模型中的損失函數的損失值滿足預設條件時，獲得所述訓練完成的機場跑道異物檢測模型；

所述初始機場跑道異物檢測模型，包括：輸入模塊、主干網絡、融合特征提取模塊以及檢測分類模塊；

其中，所述輸入模塊的輸入端用于接收第二訓練樣本，所述輸入模塊、所述主干網絡、所述融合特征提取模塊以及所述檢測分類模塊依次連接，所述檢測分類模塊用于輸出預測框與分類標簽；

所述輸入模塊采用cmBN和SAT自對抗進行訓練；

所述主干網絡包括BackBone主干網絡，所述BackBone主干網絡中融合了Mish激活函數以及Dropblock方式；

所述融合特征提取模塊包括SPP模塊與FPN+PAN結構；

所述檢測分類模塊使用CIOU_Loss損失函數，且所述檢測分類模塊在預測框篩選時選擇DIOU_nms方式；

獲取第一圖像的光學視頻圖像采集設備設置在機場跑道的室外環境，范圍在300米以內；

所述將訓練樣本輸入到所述初始機場跑道異物檢測模型中，得到初始檢測結果之前，所述方法還包括：

對獲取的第一樣本圖像進行自動標注，得到第一訓練樣本；

對所述第一訓練樣本進行圖像增強處理，得到第二訓練樣本；

其中，所述訓練樣本包括所述第一訓練樣本與所述第二訓練樣本，所述圖像增強處理包括以下至少一種處理方式：馬賽克Mosaic、旋轉、調整飽和度、調整曝光度以及調整色調。

2.根據權利要求1所述的方法，其特征在于，所述建立初始機場跑道異物檢測模型，包括：

搭建基于YOLOv4的端到端神經網絡，設置引導文件CFG，以及機場跑道異物類別標簽。

3.根據權利要求1所述的方法，其特征在于，所述將所述第二圖像輸入到訓練完成的機場跑道異物檢測模型中，得到第一檢測結果之后，所述方法還包括：

基于所述第一檢測結果與第二檢測結果，獲得機場跑道異物檢測結果；所述第二檢測結果為通過雷達對機場跑道異物進行檢測得到的檢測結果。

4.一種機場跑道異物檢測裝置，其特征在于，所述機場跑道異物檢測裝置用于實現如權利要求1至3任一項所述的機場跑道異物檢測方法，包括：

第一獲取模塊，用于獲取第一圖像，所述第一圖像為初始圖像流中非第一幀的圖像；

處理模塊，用于對所述第一圖像進行超分辨處理，得到第二圖像；

檢測模塊，用于將所述第二圖像輸入到訓練完成的機場跑道異物檢測模型中，得到第一檢測結果。

5.一種可讀存儲介質，其特征在于，所述可讀存儲介質上存儲程序或指令，所述程序或指令被處理器執行時實現如權利要求1至3任一項所述的機場跑道異物檢測方法的步驟。