[發明專利]一種用于風機葉片損傷檢測的無人機

在審

• 申請號: 202210491625.7
• 申請日: 2022-05-07
• 公開（公告）號: CN114862796A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 羅巍;任雪峰
• 申請（專利權）人: 北京卓翼智能科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08
• 代理公司: 北京市競天公誠律師事務所 11770
• 代理人: 徐民

本發明提出了一種用于風機葉片損傷檢測的無人機，包括：攝像頭，數據預處理器；風機葉片檢測器；利用Mask R?CNN卷積神經網絡模型對所述訓練樣本進行縮放、平移、旋轉、鏡像擴張操作；針對多任務獲取的數據進行語義融合處理，經過語義融合處理后的數據在進行語義分割處理；針對單任務獲取的數據直接進行語義分割處理；將語義分割得到的數據用于風機葉片損傷深度學習識別結果，并將結果用于評價所述風機葉片損傷程度。

技術領域

本申請涉及無人機領域。具體地，本申請涉及一種無人機視覺通信與導航方法。

背景技術

隨著我國風力發電的建設，風電機組的規模和體型逐漸增大，對風電場葉片(WTB)的維護維修提出新的挑戰。傳統的人工檢測成本高并且高空作業具有一定的危險性，無人機技術的發展為風電場葉片檢測提供了新的方式。

不同類型的傳感器，如聲發射，光纖，振動，超聲，應變和阻抗技術已使用檢測技術包括疲勞試驗中預測模式識別，傳感器網等。然而，由于測量數據量大，計算量大在實現監控算法時，需要高速的數據傳輸和高速的數據處理單位。一些研究轉向目視檢查而不是使用傳感器，從而實現額外的成本降低。

發明內容

本發明聚焦于當前無人機航拍視頻處理以及風電場葉片識別實效性差，不能滿足現實應用。運用載荷平臺設計風電檢測系統，其中包括視頻去抖，圖像增強，超分辨率處理模塊，對視頻關鍵幀進行提取，對提取出來風電場葉片圖像，研究葉片特征，分析葉片與其他背景地物區別，運用深度學習模型進行語義分割，針對多源無人機數據進行語義融合，最后進行模型驗證，精度評價，達到識別并檢測風電場葉片的目的。

本發明提供了一種用于風機葉片損傷檢測的無人機，包括：

攝像頭，用于采集風機葉片的視頻和/或圖像數據；

數據預處理器，對所述視頻和/或圖像數據進行視頻和/或圖像去抖動、視頻關鍵幀提取、視頻和/或圖像數據超分辨率處理以及視頻和/或圖像質量增強；

風機葉片檢測器，其對預處理后的風機葉片圖像進行檢測，包括接收來自數據預處理器的視頻和/或圖像數據，對所述視頻和/或圖像數據依次進行分塊和數據平衡，并將得到的樣本分為訓練樣本和驗證樣本；

利用Mask R-CNN卷積神經網絡模型對所述訓練樣本進行縮放、平移、旋轉、鏡像擴張操作；

針對多任務獲取的數據進行語義融合處理，經過語義融合處理后的數據在進行語義分割處理；針對單任務獲取的數據直接進行語義分割處理；

將語義分割得到的數據用于風機葉片損傷深度學習識別結果，并將結果用于評價所述風機葉片損傷程度。

在本發明的一些優選實施方式中，所述視頻和/或圖像去抖動是通過匹配特征點，監控特征點軌跡進行濾波處理，直接對監控視頻和/或圖像進行補償，由此消除因移動拍攝產生的監控視頻和/或圖像抖動，提升視頻和/或圖像質量。

在本發明的一些優選實施方式中，所述視頻關鍵幀提取是在視頻分割為鏡頭的基礎上，分析鏡頭中圖像幀的顏色、紋理等特征，根據各幀之間的相互關系，找出最能代表鏡頭內容的一組圖像幀。

在本發明的一些優選實施方式中，所述視頻/圖像超分辨率處理是通過多幀關于同一場景的有相互位移的低分辨率降質圖像，充分利用多幀圖像之間的互補信息，來重建高分辨率高質量圖像，實現像素級的圖像信息融合。

在本發明的一些優選實施方式中，所述視頻和/或圖像去抖動包括通過改進快速小波算法去抖和/或自適應SIFT算法去抖。

在本發明的一些優選實施方式中，所述視頻關鍵幀提取是通過以下至少一種方式實現：基于鏡頭的關鍵幀提取、基于內容的關鍵幀提取、基于運動分析關鍵幀提取以及基于壓縮視頻關鍵幀提取。