[發明專利]一種風力發電機葉片表面損傷輕量化識別方法

在審

• 申請號: 202011470894.2
• 申請日: 2020-12-14
• 公開（公告）號: CN112581443A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 趙霞;田宏哲;趙霄桁;曾凡春;余瑞鋒
• 申請（專利權）人: 北京華能新銳控制技術有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

1.一種風力發電機葉片表面損傷輕量化識別方法，其特征在于，所述方法包括：

建立葉片損傷數據庫用作檢測模型的訓練集圖像和驗證集圖像；

對所述葉片損傷數據庫進行數據增強操作，以獲得數據增強后的訓練集圖像；

搭建輕量化的目標檢測模型，所述目標檢測模型采用MobileNet算法作為特征提取算法，以及采用YOLO-V3算法作為單階段目標檢測算法；

利用所述數據增強后的訓練集圖像，對所述目標檢測模型進行訓練，并利用所述驗證集圖像進行模型檢測缺陷的精度測試，保存測試表現最好的模型參數，以得到訓練好的目標檢測模型；

將所述訓練好的目標檢測模型導出部署在便攜式計算設備中，并到風電場進行實時的葉片表面損傷檢測。

2.根據權利要求1所述的方法，其特征在于，所述建立葉片損傷數據庫用作檢測模型的訓練集圖像和驗證集圖像，包括：

利用攜帶有高清攝像頭的無人機到風電場采集大量的葉片圖像；

分別對采集到的各所述葉片圖像進行損傷標注，獲得損傷標注信息，并按照YOLO的格式對所述葉片圖像、所述損傷標注信息以及葉片圖像列表文檔進行整理；其中，所述損傷標注信息包括標注格式和標注內容，所述標注格式采用PASCAL VOC數據集或者COCO數據集的格式；所述標注內容包括缺陷的類別以及缺陷出現的位置和面積；

將所述損傷標注信息與所述葉片圖像一一對應，獲得所述訓練集圖像和所述驗證集圖像。

3.根據權利要求1所述的方法，其特征在于，所述數據增強操作包括下述至少一項：

隨機改變圖像的亮暗、對比度和顏色、隨機填充、隨機裁剪、隨機縮放、隨機翻轉、隨機打亂真實框排列順序。

4.根據權利要求1所述的方法，其特征在于，所述對所述葉片損傷數據庫進行數據增強操作，包括：

從圖像文件或內存buffer中加載圖像，轉換為RGB格式；

將原始圖片放入用像素均值填充的擴張圖中，對此圖進行裁剪、縮放和翻轉；

使用隨機的插值方式調整圖像大小；

根據特定的插值方式調整圖像大小；

對圖像像素值進行歸一化，先將像素值除以255.0，像素值縮放到到[0-1]區間；

如果bounding box的數量少于50，則將零填充到所述bounding box；

將所述bounding box從(xmin,ymin,xmax,ymin)形式轉換為(xmin,ymin,width,height)格式。

5.根據權利要求1至4任一項所述的方法，其特征在于，所述利用所述數據增強后的訓練集圖像，對所述目標檢測模型進行訓練，并利用所述驗證集圖像進行模型檢測缺陷的精度測試，保存測試表現最好的模型參數，以得到訓練好的目標檢測模型，包括：

生成錨框：將所述數據增強后的訓練集圖像劃分成m×n個小方塊區域，在每個區域的中心生成k個尺寸不一的錨框，m、n和k均為大于等于1的正整數；

預測框生成的方法：在所述錨框的中心坐標(center_x,center_y)和尺寸上(p_h×p_w)的基礎上微調生成預測框的中心坐標(b_x,b_y)和尺寸(b_h×b_w)；

每個所述錨框都是一個可能的候選區域，對所述候選區域進行標注，標注信息包括(t_x,t_y,t_h,t_w，P_obj,P_1,P_2,P_3,…,P_C)的真實值；

使用MobileNet骨干網絡提取圖像特征，得到輸出特征圖；

根據所述輸出特征圖計算預測框位置和類別；

建立三種交叉熵損失函數來計算模型預測值和實際值之間的loss值，分別是表征是否包含目標物體的損失函數、表征物體位置的損失函數、表征物體類別的損失函數；

執行反向傳播算法計算模型參數梯度，沿著梯度下降的方向更新參數來極小化總體損失函數；

模型每迭代N步保存一次模型參數，并進行一次驗證集的loss值計算，將loss值最小的迭代輪次的模型參數作為獲得訓練過程中最好的模型文件，得到所述訓練好的目標檢測模型。