[發明專利]基于多種卷積神經網絡融合的機場道面病害異物檢測方法

有效

• 申請號: 202110228020.4
• 申請日: 2021-03-02
• 公開（公告）號: CN113111703B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 郭文彤;方宏遠;鐘山;王念念;朱銳;陳家將;曹順林;張高翼
• 申請（專利權）人: 鄭州大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/25;G06V10/26;G06V10/762;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/084
• 代理公司: 長沙楚為知識產權代理事務所(普通合伙) 43217
• 代理人: 李大為

本發明提供一種基于多種卷積神經網絡融合的機場道面病害異物檢測方法，其步驟包括：采集機場道面病害和異物圖像；構建用于訓練神經網絡的機場道面病害異物數據庫；搭建目標檢測算法YOLOv3、Mask?R?CNN卷積神經網絡；調整卷積神經網絡超參數，直至收斂且誤差損失值滿足要求，保存此時的網絡權重參數，完成YOLOv3、Mask?R?CNN卷積神經網絡的訓練；將訓練后的YOLOv3、Mask?R?CNN卷積神經網絡進行融合，構建機場道面病害和異物像素級別的智能分割模型；將測試圖像輸入到保存的模型中，輸出機場道面的病害和異物的分割結果；統計分割結果的掩碼對應圖像的像素，輸出機場道面病害和異物的語義信息。本發明具有更好的魯棒性與泛化能力，能夠提高機場道面病害異物的分割精度與效率。

技術領域

本發明屬于機場道面病害異物無損檢測技術領域，具體涉及一種基于多種卷積神經網絡優化融合的機場道面病害異物檢測方法。

背景技術

機場道面病害主要包括裂縫、坑洞、脫皮等形式，其中裂縫是病害的主要形式之一，是大多數結構病害的早期表現，會對飛機起降過程造成極大的安全隱患。機場道面異物(Foreign?Object?Debris，FOD)是指任何出現在機場中不合適位置的物體，如道面脫落的碎塊、航空器丟失的零件等。道面異物直接影響航空安全，道面異物可能被吸進發動機，造成發動機損傷，也可能劃傷或者刺傷高速運動的飛機輪胎，嚴重時造成爆胎，進而導致機毀人亡的事故。因此機場道面病害異物檢測日益受到重視。

目前，機場道面病害異物檢測的方式以人工巡檢并手動記錄為主，然而，人工巡檢具有成本高、效率低、精度差、漏檢率高等缺陷，由于受機場運行要求的制約，巡檢工作只能在夜間人造光源條件下進行，使得機場道面病害異物檢測更加困難。

隨著計算機視覺識別相關技術的發展，一些學者開始關注計算機視覺識別在機場道面中的應用。目前解決目標檢測問題主要為傳統機器學習和深度學習。傳統機器學習的方法包括K-Means算法、Otsu閾值分割算法等，傳統機器學習需要手動選擇圖像特征，難以保證提取整個圖像的病害異物信息，不具有通用性，在實際過程中應用困難。深度學習的方法是對傳統神經網絡的升級，其學習能力強，精確度、自動化程度高，是目前解決目標檢測問題的首選方法。如今應用于機場道面病害異物目標檢測領域的深度學習方法主要分為兩類：one?stage的檢測算法；two?stage的檢測算法。one?stage的檢測算法速度上占優，檢測目標尺度范圍廣，具代表性的是YOLO系列、SSD系列算法。two?stage的檢測算法檢測準確率和定位精度高，具代表性的是R-CNN系列算法，其中Mask?R-CNN算法能夠實現目標尺度的語義分割。雖然已有文獻提出將YOLO系列、SSD系列、R-CNN系列算法應用于機場道面病害或異物檢測，通常采用其中的某個系列對機場道面病害或異物檢測，但實際情況下機場道面病害異物是同時存在的，且需要同時檢測，以確保飛機的正常運行。

因此，亟需一種智能化高精度機場道面病害異物的檢測方法代替人工巡檢。

發明內容

為了解決上述問題，本發明提供一種基于多種卷積神經網絡融合的機場道面病害異物檢測方法，能夠充分考慮到機場道面病害異物的細小尺寸和圖像背景的復雜環境，綜合多種卷積神經網絡算法的優點，提高算法的識別精度及抗噪性，以確保對機場道面病害異物的共同同步檢測，彌補人工巡檢的缺陷。

為了實現上述目的，本發明提供一種基于多種卷積神經網絡融合的機場道面病害異物檢測方法，其步驟包括：

S1：采集機場道面病害異物圖像；

S2：對步驟S1獲取的圖像數據進行預處理，構建用于訓練神經網絡的機場道面病害異物數據庫；

S3：對目標檢測算法YOLOv3、Mask?R-CNN分別進行改進、優化，搭建YOLOv3、MaskR-CNN卷積神經網絡，并初始化卷積神經網絡超參數進行訓練；