[發明專利]引入注意力機制和ConvNext網絡的YOLO v5鋼鐵表面損傷的檢測方法

在審

• 申請號: 202211440569.0
• 申請日: 2022-11-17
• 公開（公告）號: CN115731177A
• 公開（公告）日: 2023-03-03
• 發明（設計）人: 李強強;皋軍;邵星;王翠香
• 申請（專利權）人: 鹽城工學院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06T5/00;G06V10/762;G06V10/774;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 孟麗娜

1.一種引入注意力機制和ConvNext網絡的YOLO v5鋼鐵表面損傷的檢測方法，其特征在于，包括以下步驟：

S1：建立測試數據集：

采集圖像數據，之后對夾雜、裂紋、麻點、斑塊、劃傷、壓入氧化鐵皮6種缺陷圖像通過物理變換對圖像進行數據增強，從而獲得由待檢測圖像8100張構成的測試數據集；

S2：建立和改進YOLO v5的神經網絡模型：

建立YOLO v5的神經網絡模型：調整和配置相應的參數；

改進YOLO v5的神經網絡模型：用ConvNext替代了原本的CSPdarknet；在特征提取的加強網絡層上加入注意力機制；

S3：訓練以優化YOLO v5的網絡模型：

將裂紋、夾雜、斑塊、麻點、壓入氧化鐵皮、劃傷 6 種經過數據增廣的鋼鐵損傷圖像，輸入到YOLO v5的網絡模型中，對YOLO v5的網絡模型進行訓練，以優化YOLO v5的網絡模型；YOLO v5的網絡模型進行訓練每訓練一次，對應生成一權重文件；

S4:將訓練好的權重文件保存到YOLO的網絡模型，之后基于所述權重文件對鋼鐵進行預測，以檢測鋼鐵表面是否有損傷。

2.根據權利要求1所述的一種引入注意力機制和ConvNext網絡的YOLO v5鋼鐵表面損傷的檢測方法，其特征在于，S1具體包括：

S11:選取目標結構物，利用相機采集鋼材表面圖像；

其中，圖像包括有損壞和沒有損壞的鋼材圖像；

采集應包括各種不同的條件，條件包括：光強度和陰影變化;

S12:將S11中獲取的鋼材表面圖像分割成小圖像，以增加訓練庫中圖像的數量；

S13:將分割得到的小圖像分別標記為含有損傷的圖像和沒有損傷的圖像，形成圖像數據庫；

S14:對圖像數據進行數據增強：

數據增強方式包括圖像水平翻轉、垂直翻轉、加入高斯噪聲及色溫變換。

3.根據權利要求2所述的一種引入注意力機制和ConvNext網絡的YOLO v5鋼鐵表面損傷的檢測方法，其特征在于，S2具體包括：

S21:建立YOLO v5的網絡模型的特征提取的主干網絡為ConvNext；

其中，ConvNext由ConvNet模塊構建；

ConvNext首先利用7×7的逐層卷積，然后進行歸一化處理，使得鋼鐵的的圖片尺寸和像素大小的參數保持一致性；

其中，層歸一化代替了批歸一化，以加速網絡的收斂并減少過擬合；

S22：利用K-Means重新聚類得到的新的預測框尺寸，得到新的先驗框；

S23:在特征提取的加強網絡層構建了FPN特征金字塔進行加強特征提取；

對特征提取的加強網絡層加入注意力機制ECA模塊；

S24:設置凍結訓練：學習率使用余弦退火衰減法，學習率會先上升再下降，上升的時候使用線性上升，下降的時候模擬cos函數下降；

S25:主干網絡上使用了GELU激活函數，其中GELU激活函數可以表示為：

x*sigmoid(1.703x)。

4.根據權利要求3所述的一種引入注意力機制和ConvNext網絡的YOLO v5鋼鐵表面損傷的檢測方法，其特征在于，S21具體包括：

S211: ConvNext網絡模型采用步長為4的4×4卷積核，讓窗口之間不相交，每次只處理一個patch的特征，同時在卷積層后加入LayerNorm替代了原本的BatchNorma；

S212: ConvNext網絡模型使用更少的激活層：在bottleneck的兩個1×1卷積核之間使用激活層，其他位置不使用。

5.根據權利要求書4所述的一種引入注意力機制和ConvNext網絡的YOLO v5鋼鐵表面損傷的檢測方法，其特征在于，S23具體包括：

在特征提取的主干網絡進入特征加強網絡的特征融合層時和卷積過后進入上采樣層時，都加入ECA注意力機制，以加強對圖片中待檢測目標的特征提取并減少背景目標的特征提取。