[發明專利]一種基于改進YOLOv5的PCB板表面缺陷檢測方法

在審

• 申請號: 202211451316.3
• 申請日: 2022-11-20
• 公開（公告）號: CN115719338A
• 公開（公告）日: 2023-02-28
• 發明（設計）人: 王成;張嘉鵬;王英民;劉思杰;王奇;陶林偉;鄭琨;黃愛萍
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/0464;G06N3/08;G06N3/048;G06V10/764;G06V10/82
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 劉濤

1.一種基于改進YOLOv5的PCB板表面缺陷檢測方法，其特征在于，包括如下步驟：

步驟1：獲取數據集并進行數據預處理；

步驟1-1：對獲取的PCB板表面缺陷原始數據集進行截取、翻轉、映射，將數據集進行標簽轉換并對數據集進行劃分；將數據集劃分為訓練、驗證和測試集；

步驟1-2：采用mosaic數據增強方式，使用4張圖片的數據，經過隨機縮放、隨機裁剪、隨機分布的方式進行拼接，將4張圖片組合成一張圖片；

步驟1-3：將數據集圖像統一縮放到同一個尺寸，然后送入檢測網絡YOLOv5s_BSSs中；

所述檢測網絡YOLOv5s_BSSs具體描述如后；

步驟2：在YOLOv5主干中，將原來的Focus操作替換成一個卷積層，增加了SimAM注意力機制，并且對空間金字塔池化結構SPPF進行優化，改為SPPFCSPC，具體流程為：

步驟2-1：對于第0層，[-1,1,Conv,[64,6,2,2]]的模塊參數args[64，6，2，2]被解析成[3，32，6，2，2]，64代表卷積核的數量，最終的卷積核數量乘以width_multiple，為64×0.5＝32即第0層輸出的維度；6為卷積核大小，2為卷積核的步長，3是本層的輸入維度因為輸入的圖像是彩色的RGB 3通道；

步驟2-2：對于第1層，[-1,1,Conv,[128,3,2]]的模塊參數[128,3,2]被解析成[32,64,3,2]，32為通道數即上一層輸出的維度；128代表卷積核的數量，最終的卷積核數量為128×0.5＝64即第1層輸出的維度；

步驟2-3：對于第2層，[-1,3,C3,[128]]的模塊參數[128]被解析成[64,64,1]，64為通道數即上一層輸出的維度；128代表卷積核的數量，最終的卷積核數量為128×0.5＝64即第2層輸出的維度；

步驟2-4：對于第3層，[-1,1,Conv,[256,3,2]]的模塊參數[256,3,2]被解析成[64,128,3,2]，64為通道數即上一層輸出的維度；256代表卷積核的數量，最終的卷積核數量為256×0.5＝128即第3層輸出的維度；

步驟2-5：對于第4層，[-1,6,C3,[256]]的模塊參數[256]會被解析成[128,128,2]，128為通道數即上一層輸出的維度；256代表卷積核的數量，最終的卷積核數量為256×0.5＝128即第4層輸出的維度；

步驟2-6：對于第5層，[-1,1,Conv,[512,3,2]]的模塊參數[512,3,2]被解析成[128,256,3,2]，128為通道數即上一層輸出的維度；512代表卷積核的數量，最終的卷積核數量為512×0.5＝256即第5層輸出的維度；

步驟2-7：對于第6層，[-1,9,C3,[512]]的模塊參數[512]被解析成[256,256,3]，256為通道數即上一層輸出的維度；256代表卷積核的數量，最終的卷積核數量為512×0.5＝256即第6層輸出的維度；

步驟2-8：對于第7層，[-1,1,Conv,[1024,3,2]]的模塊參數[1024,3,2]被解析成[256,512,3,2]，256為通道數即上一層輸出的維度；1024代表卷積核的數量，最終的卷積核數量為1024×0.5＝512即第7層輸出的維度；

步驟2-9：對于第8層，[-1,3,C3,[1024]]的模塊參數[1024]被解析成[512,512,1]，512為通道數即上一層輸出的維度；1024代表卷積核的數量，最終的卷積核數量為1024×0.5＝512即第8層輸出的維度；

步驟2-10：對于第9層，[-1,1,SimAM,[1024]]的模塊參數[1024]會被解析成[512,512]，512為通道數即上一層輸出的維度；1024代表卷積核的數量，最終的卷積核數量為1024×0.5＝512即第9層輸出的維度；

步驟2-11：對于第10層，[-1,1,SPPFCSPC,[1024,5]]的模塊參數[1024,5]被解析成[512,512,5]，512為通道數即上一層輸出的維度；1024代表卷積核的數量，最終的卷積核數量為1024×0.5＝512即第10層輸出的維度；

步驟3：在YOLOv5的Neck中，將原來的Concat替換成BiFPN，并且將P4、P5結構去掉以減少網絡規模，具體流程為：

步驟3-1：對于第11層，[-1,1,Conv,[512,1,1]]的模塊參數[512,1,1]被解析成[512,256,1,1]，512為通道數即上一層輸出的維度；512代表卷積核的數量，最終的卷積核數量為512×0.5＝256即第11層輸出的維度；

步驟3-2：對于第12層，[-1,1,nn.Upsample,[None,2,nearest]]的模塊參數不變；

步驟3-3：對于第13層，[[-1,6],1,BiFPN_Add2,[256,256]]的模塊參數[256,256]不變；

步驟3-4：對于第14層，[-1,3,C3,[512,False]]的模塊參數[512,False]被解析成[256,256,1,False]，256為通道數即上一層輸出的維度；512代表卷積核的數量，最終的卷積核數量為512×0.5＝256即第14層輸出的維度；

步驟3-5：對于第15層，[-1,1,Conv,[256,1,1]]的模塊參數[256,1,1]被解析成[256,128,1,1]，256為通道數即上一層輸出的維度；256代表卷積核的數量，最終的卷積核數量為256×0.5＝128即第15層輸出的維度；

步驟3-6：對于第16層，[-1,1,nn.Upsample，[None,2,nearest]]的模塊參數不變；

步驟3-7：對于第17層，[[-1,4],1,BiFPN_Add2,[128,128]]的模塊參數[128,128]不變；

步驟3-8：對于第18層，[-1,1,C3,[256,False]]的模塊參數[256,False]被解析成[128,128,1,1]，125為通道數即上一層輸出的維度；256代表卷積核的數量，最終的卷積核數量為256×0.5＝128即第18層輸出的維度；

步驟4：將18層的輸出作為Detect層的輸入，推理得到預測框；

目標框回歸，計算公式如下：

b_x＝2σ(t_x)-0.5+c_x

b_y＝2σ(t_y)-0.5+c_y

b_w＝p_w×(2σ(t_w))²

b_h＝p_h×(2σ(t_h))²

其中(b_x,b_y,b_w,b_h)表示預測框的中心點坐標、寬度和高度，(c_x,c_y)表示預測框中心點所在網格的左上角坐標，(t_x,t_y)表示預測框的中心點相對于網格左上角坐標的偏移量，(t_w,t_h)表示預測框的寬高相對于anchor寬高的縮放比例，(p_w,p_h)表示先驗框anchor的寬高；

使用Sigmoid函數處理偏移量，將預測框的中心點約束到當前網格中，使預測的偏移值保持在(0,1)范圍內，再根據目標框回歸計算公式，預測框中心點坐標的偏移量保持在(-0.5,1.5)范圍內；

步驟5：正負樣本匹配；

YOLOv5的每個檢測層上的每個網格都預設了多個anchor先驗框，對anchor先驗框進行篩選，將其劃分為正樣本和負樣本；采用基于寬高比例的匹配策略，具體步驟如下：

步驟5-1：對于每一個人工標注的真實框Ground Truth，分別計算它與9種不同anchor的寬與寬的比值(w₁/w₂,w₂/w₁)和高與高的比值(h₁/h₂,h₂/h₁)；

步驟5-2：找到Ground Truth與anchor的寬與寬的比值(w₁/w₂,w₂/w₁)和高與高的比值(h₁/h₂,h₂/h₁)中的最大值，作為該Ground Truth與anchor的比值；

步驟5-3：若Ground Truth與anchor的比值小于設定的比值閾值，則anchor就負責預測此Ground Truth，即anchor所回歸得到的預測框就被稱為正樣本，剩余所有的預測框都是負樣本；

步驟6：損失計算；

步驟6-1：總損失；

YOLOv5的損失包括三個方面：矩形框損失bbox_loss、分類損失cls_loss、置信度損失obj_loss；總損失的表達式為：

Loss＝box_gain×bbox_loss+cls_gain×cls_loss+obj_gain×obj_loss

其中，box_gain、cls_gain、obj_gain分別對應不同的損失權重；

步驟6-2：邊界框損失；

使用CIoU計算邊界框損失，CIoU的懲罰項為：

其中，ρ²(b,b^gt)代表了預測框和真實框的中心點的歐式距離，c代表的是能夠同時包含預測框和真實框的最小閉合區域的對角線距離；

α是權重參數，它的表達式為:

v是用來衡量寬高比的一致性，它的表達式為:

其中，w^gt表示真實框的寬，h^gt表示真實框的高，w表示預測框的寬，h表示預測框的高；

所以CIoU的損失計算公式為：

步驟6-3：分類損失；

使用二元交叉熵函數計算分類損失，二元交叉熵函數的定義為：

其中y為輸入樣本對應的標簽，正樣本為1，負樣本為0，p為模型預測該輸入樣本為正樣本的概率；假設交叉熵函數的定義簡化為：

L＝-log p_t

步驟6-4：置信度損失；

YOLOv5使用二元交叉熵函數計算置信度損失；對于不同尺度的檢測層上得到的置信度損失，YOLOv5分配了不同的權重系數，按照檢測層尺度從大到小的順序，對應的權重系數分別為4.0、1.0、0.4；

步驟7：采用遷移學習訓練方法，對訓練網絡的訓練權重和參數進行多重遷移化處理，增強短期訓練的程度。