[發明專利]一種工業中鋼材氧化帶目標檢測方法、系統及設備

在審

• 申請號: 202110337542.8
• 申請日: 2021-03-30
• 公開（公告）號: CN112926685A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 李忠濤;姜琳琳;趙帥;趙富;袁朕鑫;肖鑫;程衍澤;張玉璘;趙秀陽;孔祥玉;郭慶北
• 申請（專利權）人: 濟南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06T3/40
• 代理公司: 濟南譽豐專利代理事務所(普通合伙企業) 37240
• 代理人: 李茜

1.一種工業中鋼材氧化帶目標檢測方法，其特征在于，所述方法包括：

采集不同光照強度下不同鋼材類型的氧化帶樣本圖像，進行圖像預處理以獲得初始氧化帶樣本數據集；

將所述氧化帶樣本數據集按預設比例劃分為訓練集、驗證集、測試集；

基于原始YOLOv4-tiny算法改進其網絡結構，得到鋼材氧化帶目標檢測算法；

利用訓練集對優化后的YOLOv4-tiny網絡訓練，選取mAP最優的權重文件；

將訓練完成的網絡集成在檢測系統中，檢測鋼材氧化帶圖像得到氧化帶的位置信息。

2.根據權利要求1所述的方法，其特征在于，采集不同光照強度下不同鋼材類型的氧化帶樣本圖像，進行圖像預處理以獲得初始氧化帶樣本數據集，包括：

安置工業級高清攝像頭在操作臺實時拍攝不同光照下、不同類型的鋼材氧化帶；

對采集的視頻讀幀生成圖片，按序號對圖片重命名形成圖片唯一ID；

使用標注軟件對鋼材的氧化帶位置進行標注，形成對應的xml文件，形成初始氧化帶樣本數據集；

對數據集進行數據增強處理，通過隨機裁剪、隨機翻轉、模糊等方式對四張圖片進行拼接作為訓練數據。

3.根據權利要求2所述的方法，其特征在于，將所述氧化帶樣本數據集按預設比例劃分為訓練集、驗證集、測試集，包括：

按6:2:2劃分訓練集、驗證集、測試集，所述訓練集用于模型訓練，所述驗證集用于評價模型，所述測試集評估模型的泛化能力；

按VOC格式準備文件夾：JPEGImages存放全部氧化帶樣本圖像；Annotations存放標注圖像生成一一對應的xml文件；ImageSets下建立Mian文件夾存放train.txt，val.txt，test.txt。

4.根據權利要求1所述的方法，其特征在于，所述基于原始的YOLOv4-tiny算法的網絡結構包括Backbone特征提取網絡、Neck特征融合模塊和Yolo Head預測模塊，其中Backbone特征提取網絡為CSPDarknet53-tiny網絡結構，輸出兩個大小為26*26、13*13的特征層；Neck特征融合模塊為特征金字塔FPN對上一步輸出的兩個特征層進行特征融合；Yolo Head預測模塊對獲得的特征進行回歸預測，輸出兩個特征層的預測結果。

5.根據權利要求4所述的方法，其特征在于，基于原始YOLOv4-tiny算法改進其網絡結構，得到鋼材氧化帶目標檢測算法，包括：

在CSPDarknet-tiny網絡的最后一個特征層后中加入M-SPP結構，以極小的計算量，利用兩個不同尺度的最大池化進行處理；

通過稀疏訓練與通道剪枝多階段迭代式訓練的方式，實現模型壓縮；

池化后堆疊輸出到FPN卷積后進行二倍上采樣，與主干網絡第二個Resblock_body(26,26,256)特征層進行特征融合；

Yolo Head預測模塊對獲得的特征進行預測，所述Yolo Head預測模塊包括第一分類器和第二分類器，所述第一分類器接收特征融合模塊輸出大小為13*13的融合特征；所述第二分類器接收特征融合模塊輸出大小為26*26的融合特征；輸出預測結果shape分別為(13,13,N)，(19,19,N)，其中N＝S+Conf+Class,S＝4，代表預測框的位置信息，Conf＝1，代表置信度即類別概率，Class＝類別個數；

根據輸出的預測結果進行解碼得到預測框位置信息，其中包括預測框左上角坐標(bx,by)和預測框的寬高(bw，bh)。

6.根據權利要求1所述的方法，其特征在于，利用訓練集對優化后的YOLOv4-tiny網絡訓練，選取mAP最優的權重文件，包括：

配置運行環境，Ubuntu系統、CUDA10.2和OpenCV4.1.1，選擇基于Darknet框架的YOLOv4-tiny進行訓練；

設置模型參數，根據小型嵌入式設備的算力條件調整batch、subdivisions的值，設置輸入圖片寬高值、學習率、迭代次數、類別數量；

初次訓練使用YOLOv4-tiny的官方預訓練權重文件，設置訓練過程中產生的權重文件每1000輪存儲一次。