[發明專利]一種基于深度學習的電路板元器件缺陷檢測方法

有效

• 申請號: 202110403802.7
• 申請日: 2021-04-15
• 公開（公告）號: CN113077453B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 杜啟亮;向照夷;田聯房
• 申請（專利權）人: 華南理工大學;華南理工大學珠海現代產業創新研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.一種基于深度學習的電路板元器件缺陷檢測方法，其特征在于，包括以下步驟：

1)獲取電路板檢測生產線的攝像機拍攝的電路板圖像，將所有電路板圖像按比例劃分原始訓練集和原始測試集，并進行掩膜標注；

2)對原始訓練集進行重采樣，在檢測目標附近剪裁一部分圖像，并重新生成對應的標簽，作為最終的訓練集，再對改進的SOLOv2網絡進行訓練，其中，該SOLOv2網絡的改進是在主干網絡中使用深度可分離卷積替代傳統卷積，在網絡輸出層使用多個空洞卷積替代單一的傳統卷積；

訓練集的重采樣方法如下：

2.1)統計出原始訓練集中所有元器件的外接框，假設第K個元器件的掩膜標簽為{(x_i,y_i),i∈[0,N_K]}，N_K為元器件K掩膜點的數量，(x_i,y_i)為第i個掩膜點的橫坐標和縱坐標，則該元器件角坐標為其中，為第K個元器件左上角的橫坐標和縱坐標，為第K個元器件右下角的橫坐標和縱坐標，min({·})、max({·})分別為集合{·}的最小值和最大值，該元器件的外接框為(x^K,y^K,w^K,h^K)為第K個元器件外接框左上角的橫坐標和縱坐標及外接框的寬和高；

2.2)根據所有元器件的外接框生成新的訓練集圖像，尋找所有元器件的外接框的最大邊長L_max＝max(max({(w^j)}),max({(h^j)})),j∈[1,M]，M為所有的元器件數目，w^j、h^j為第j個元器件外接框的寬和高，執行操作：選定裁剪目標框的寬高L＝random(L_max,2L_max)，random()指隨機取范圍內的正整數，裁剪目標框左上角橫坐標為縱坐標為由裁剪目標框從原圖中剪切出圖像PIC，每個元器件多次執行該操作，從而裁剪出大量圖像以作為訓練集圖像；

2.3)針對裁剪得到的訓練集圖像生成對應的標簽，對于落入PIC內的元器件K，計算元器件K在PIC內的部分占元器件K本身大小的比例為元器件K在PIC內的面積，area^K為元器件K自身的面積，其中area^K＝w^K×h^K，若小于閾值0.4，則將該元器件標記為背景，舍去其標簽，否則，將其掩膜標簽設置為{(x_i-x_start,y_i-y_start),i∈[0,N_K]}；

所述改進的SOLOv2網絡的具體改進如下：

將主干網絡中除第一層卷積之外的所有卷積替換為深度可分離卷積降低網絡參數量，以提高前向推導的速度，提高實時性能，深度可分離卷積將傳統的單個卷積核分為兩個獨立的卷積核：分離卷積和逐點卷積；分離卷積將特征圖不同通道分離開分別進行卷積操作，逐點卷積對不同特征圖上相同像素點進行卷積操作，提取不同特征圖之間的關系；使用的深度可分離卷積結構包含分離卷積層、BN層、Mish激活函數、逐點卷積層、BN層和Mish激活函數；

在網絡輸出層使用多個空洞卷積替換單一的傳統卷積，在增加少量參數的情況下，使預測結果中的每個位置充分綜合全局信息，提高分割精度，空洞卷積與傳統卷積相比，參數量相同，但感受野更大，不同擴張系數的空洞卷積組合能夠提取特征圖中的多尺度信息，改進后的網絡輸出層包含多個不同擴張系數的3×3空洞卷積、BN層、Mish激活函數、concat層和逐點卷積層，其中，每個空洞卷積各接一個BN層和Mish激活函數，負責提取一個尺度范圍的特征；concat層為特征融合層，將不同空洞卷積生成的特征圖按通道拼接；再通過逐點卷積層將包含不同尺度信息的特征圖進行融合得到單通道的語義分割圖；

3)將待檢測圖像分成多個區域塊，按批次送入訓練好的改進的SOLOv2網絡以對圖像中的各類元器件及電路板底板進行分割，獲取各類元器件及電路板底板掩膜預測結果；

4)將待測圖像所有區域塊的各類元器件及電路板底板掩膜預測結果進行融合；

5)通過融合后的電路板底板掩膜預測結果對各類元器件及電路板底板的掩膜預測結果進行矯正使其與模板電路板方向和尺寸相同，具體如下：

首先，計算出電路板底板掩膜預測結果的最小外接矩形，利用該矩形四個角點結合模板電路板尺寸對各類元器件及電路板底板掩膜預測結果進行仿射變換矯正，得到與模板電路板尺寸完全一致的掩膜預測結果，使得各元器件在電路板中的相對位置更加精確；

6)依據矯正后的掩膜預測結果計算出各個元器件的實際中心位置及偏轉方向，具體如下：

從矯正后的掩膜預測結果中提取出各元器件的掩膜預測結果，從而獲得各個元器件的中心并基于Hu不變矩計算其主軸方向，即元器件的偏移方向，并記錄下各個元器件的中心位置及偏轉角度；

7)將各個元器件的實際中心位置及偏轉方向與其在模板電路板中的設定值對比，判斷出該處是否存在缺件、偏移缺陷，并獲得位置偏移量和角度偏移量，具有如下：

根據所有元器件的中心位置及偏轉角度進行缺陷判斷，將所有元器件按類別分為不同的組別，每個組別內使用匈牙利匹配算法，提取出的元器件位置與元器件設定位置之間相似度度量標準，即匈牙利匹配的優化矩陣如下式所示：

為第R類元器件中，第s個提取出的元器件位置與第t個元器件設定位置之間的距離，為第R類元器件中，第s個提取出的元器件位置與第t個元器件設定位置之間的相似度，所有元素組成匈牙利優化矩陣，Np^R為提取出的R類元器件總數，Ns^R為模板電路板中R類元器件總數，為第R類元器件中，第s個提取出的元器件位置坐標，為第R類元器件中，第t個元器件設定位置坐標；

相似度隨著匹配雙方距離越遠變的越低，最終實現最優匹配，匹配完成后，逐個檢索各元器件設定位置，若提取出的元器件沒有與其配對或配對成功但二者之間的中心位置偏移量大于第一閾值則認為該處存在缺件缺陷；若小于第一閾值而大于第二閾值，則認為該處存在偏移缺陷；若該處方向偏移量大于第三閾值，則認為該處存在偏移缺陷；若該處中心位置偏移量小于第二閾值且方向偏移量小于第三閾值，則認為改處沒有缺陷，以此判斷該元器件設定位置處是否存在缺陷，并獲得精確的中心位置偏移量和角度偏移量。