[發明專利]一種基于無人機視覺的飛機蒙皮損傷智能檢測方法

有效

• 申請號: 202110995923.5
• 申請日: 2021-08-27
• 公開（公告）號: CN113744230B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 盧帥員;李闊;桂燁涵;吳東澤;石改琴;吳軍;李鑫
• 申請（專利權）人: 中國民航大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/44;G06V10/764;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 天津才智專利商標代理有限公司 12108
• 代理人: 龐學欣

1.一種基于無人機視覺的飛機蒙皮損傷智能檢測方法，其特征在于：所述檢測方法包括按順序進行下列步驟：

步驟1)構建原始飛機蒙皮圖像樣本數據集：利用相機采集多幀具有蒙皮損傷的飛機蒙皮原始圖像，將每一幀飛機蒙皮原始圖像作為一個樣本，由所有飛機蒙皮原始圖像構成原始飛機蒙皮圖像樣本數據集；

步驟2)構建高質量飛機蒙皮圖像樣本數據集：對上述原始飛機蒙皮圖像樣本數據集中的所有飛機蒙皮原始圖像進行篩選，由篩選后的清晰飛機蒙皮原始圖像構成高質量飛機蒙皮圖像樣本數據集；

步驟3)構建飛機蒙皮損傷圖像樣本數據集：將上述高質量圖像樣本數據集中的清晰飛機蒙皮原始圖像進行損傷標注，依據飛機維修手冊將損傷分為5大類別：變形、劃痕、腐蝕、鉚釘損傷和掉漆，由帶有標簽的清晰飛機蒙皮原始圖像構成飛機蒙皮損傷圖像樣本數據集，并將飛機蒙皮損傷圖像樣本數據集按9∶1的比例分為訓練集和測試集；

步驟4)構建飛機蒙皮表面圖像采集系統：所述的飛機蒙皮表面圖像采集系統包括無人機(1)、遠程遙控裝置(2)、云臺相機(3)、數據傳輸系統(4)和計算機(5)；其中，遠程遙控裝置(2)分別與無人機(1)和計算機(5)無線連接，由檢測人員操縱，用于控制無人機(1)的飛行；云臺相機(3)搭載在無人機(1)上，用于采集圖像；數據傳輸系統(4)分別與云臺相機(3)和計算機(5)無線連接，用于云臺相機(3)和計算機(5)之間的圖像傳輸；機算機(5)用于儲存和處理圖像；

步驟5)規劃無人機繞檢方案：根據不同飛機機身結構以及采集圖像的效果在計算機(5)上確定好無人機(1)的繞檢飛機路徑、繞檢高度及掃描區域，進而確定出重要目標拍攝點；

步驟6)利用飛機蒙皮表面圖像采集系統采集待測飛機蒙皮圖像，獲得飛機蒙皮損傷待測數據集：由檢測人員操縱無人機(1)在上述確定的繞檢高度下按照繞檢飛機路徑進行飛行，在飛行過程中利用其搭載的云臺相機(3)拍攝每一個目標拍攝點附近的小區域高分辨率圖像作為待測圖像并通過數據傳輸系統(4)傳輸給計算機(5)并存儲，同時將云臺相機(3)在機身上的掃描區域位置信息通過數據傳輸系統(4)傳輸給計算機(5)并存儲，由所有待測圖像構成飛機蒙皮損傷待測數據集；

步驟7)構建飛機蒙皮損傷檢測網絡模型并輸入飛機蒙皮損傷圖像樣本數據集進行訓練和驗證，獲得訓練好的飛機蒙皮損傷檢測網絡模型：

步驟8)利用訓練好的飛機蒙皮損傷檢測網絡模型對飛機蒙皮損傷待測數據集進行自動檢測。

2.根據權利要求1所述的基于無人機視覺的飛機蒙皮損傷智能檢測方法，其特征在于：在步驟1)中，所述采集多幀具有蒙皮損傷的飛機蒙皮原始圖像的具體方法是：利用高清晰度高幀率相機，在距離飛機蒙皮1-2米的范圍內，從多個角度多個焦距采集多幀具有蒙皮損傷的飛機蒙皮原始圖像。

3.根據權利要求1所述的基于無人機視覺的飛機蒙皮損傷智能檢測方法，其特征在于：在步驟2)中，所述構建高質量飛機蒙皮圖像樣本數據集的具體方法是：對飛機蒙皮原始圖像進行篩選，保留損傷能夠達到可辨認程度的清晰飛機蒙皮原始圖像，由這些清晰飛機蒙皮原始圖像構成高質量飛機蒙皮圖像樣本數據集。

4.根據權利要求1所述的基于無人機視覺的飛機蒙皮損傷智能檢測方法，其特征在于：在步驟3)中，所述構建飛機蒙皮損傷圖像樣本數據集的具體方法是：利用labellmg.exe圖像處理軟件對清晰飛機蒙皮原始圖像中的損傷進行標注，首先依據飛機維修手冊將損傷分為5大類別：變形、劃痕、腐蝕、鉚釘損傷和掉漆并定義標簽分別為：deform、scratch、rush、rivet_damage、paint_peel；然后進行手動標注，標注方式遵循統一的標注規則：規則1：采用方形標注框，對清晰飛機蒙皮原始圖像中出現的所有損傷分別進行標注且標注框不能太大；規則2：將凹坑、結構變形、撞擊均視為變形損傷；規則3：當清晰飛機蒙皮原始圖像中出現多處劃痕損傷時應分別標注，當劃痕損傷較大時應使用多個均勻的小標注框進行分段標注；規則4：當蒙皮接縫處出現腐蝕損傷時應采用多個小標注框進行標注；規則5：將一切出現在鉚釘上的損傷均視為鉚釘損傷且每個鉚釘損傷要單獨標注；規則6：當出現由于其他原因造成蒙皮表面顏色改變也視作掉漆損傷；最后將帶有標簽的清晰飛機蒙皮原始圖像保存為xml格式。