[發明專利]一種基于改進YOLOV5的深度學習晶圓焊點檢測方法

在審

• 申請號: 202210362924.0
• 申請日: 2022-04-08
• 公開（公告）號: CN114723833A
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 許江杰;鄒艷麗;譚宇飛;余自淳
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06T7/90
• 分類號: G06T7/90;G06T7/11;G06T7/00;G06N3/04;G06K9/62;G06V10/774;G06V10/82
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 覃永峰

1.一種基于改進YOLOV5的深度學習晶圓焊點檢測方法，其特征在于，包括如下步驟：

1)制作晶圓焊點數據集：采集晶圓焊點圖像，對采集的晶圓焊點圖像進行預處理，然后對數據集進行標注，對需要對準的焊點和不需要對準的焊點采用矩形標注即將需要對準的焊點命名為Rig孔、不需要對準的焊點命名為Wro孔，最后制作出包含1464張晶圓焊點圖像的晶圓焊點數據集，并以9：1的比例將數據集分為訓練集和驗證集；

2)構造注意力機制模塊CCANET：包括：

2.1)首先采用一個由1*1卷積、Bathnorm模塊和Sigmoid函數組成的過濾器模塊，得到特征圖X；

2.2)然后采用一個三支路結構：

2.2.1)第一支路特征圖X連接顏色注意力機制模塊，輸出特征圖X₁如公式(1)所示：

X₁＝X*(σ(MLP(Resize(AvgPool(X)))+σ(MLP(Resize(AvgPool7(X)))+σ(MLP(Resize(MaxPool(X)))) (1)，

其中MLP為多層感知機，Resize為特征圖尺寸優化，AvgPool為特征圖尺寸1*1的全局平均池化，AvgPool7為特征圖尺寸7*7的全局平均池化，MaxPool為特征圖尺寸1*1的全局最大池化，σ為Sigmoid激活函數；

2.2.2)第二支路特征圖X與第一支路的輸出特征圖X₁進行通道相加，輸出特征圖X₂，如公式(2)所示：

2.2.3)將步驟2.2.2)輸出的特征圖X₂輸入位置注意力機制模塊,輸出特征圖X₃，如公式(3)所示：

X₃＝M_s(X₂) (3)，

其中M_s為位置注意力機制的操作；

2.2.4)第三支路特征圖X與特征圖X₃相乘得到特征圖X₄，如公式(4)所示：

2.3)最后輸出特征圖X₄，完成注意力機制模塊CCANET；

3)構造融入注意力機制的YOLOV5網絡：包括：

3.1)引入注意力機制，原始YOLOV5網絡由特征提取層、骨干層和檢測層三部分構成，對原始網絡的特征提取層和骨干層進行優化：首先在YOLOV5網絡中的特征提取層中的第一、第二、第三個C3模塊和SPP模塊后面，分別加入一個步驟2)構建的CCANET模塊，然后，將每個CCANET模塊輸出的特征圖與原始YOLOV5網絡的骨干層輸出的特征圖進行通道相加，得到一個新的特征提取層；

3.2)將每個CCANET模塊的輸出通道數進行自適應的縮放，通道數自適應縮放比例σ為1/2，通道數縮放表達式如公式(5)所示：

X_C＝Y*σ (5)，

其中，X_C為輸出通道數，Y為輸入通道數；

4)引入Ghost模塊：對步驟3)構成的融入注意力機制的YOLOV5網絡進行進一步的優化,引入Ghost模塊：將網絡骨干層中的三個特征圖拼接模塊Concat后面的第一個基礎卷積模塊Conv替換為Ghost模塊，得到最終的改進YOLOV5卷積神經網絡；

5)訓練改進YOLOV5網絡：首先，采用步驟4)獲得的改進YOLOV5網絡訓練步驟1)所制作的晶圓焊點數據集，得到晶圓焊點檢測網絡，然后，將待測試的晶圓焊點圖片或晶圓焊點視頻輸入到晶圓焊點檢測網絡中，得到晶圓焊點的位置與數量，然后對晶圓焊點檢測網絡的精度、網絡模型參數進行評價。

2.根據權利要求1所述的基于改進YOLOV5的深度學習晶圓焊點檢測方法，其特征在于，步驟1)中所述的預處理為圖像裁剪和圖像增強，其中，圖像裁剪將6112*3440的原始圖片裁剪為2030*1500的只包含晶圓焊點的圖片，同時將小目標的晶圓焊點擴充為中目標；

圖像增強是對不同光照強度下的晶圓焊點圖片進行圖像增強即將亮度較暗的焊點圖片進行亮度增強。