[發明專利]基于3D CNN的錫球缺陷檢測方法及裝置

有效

• 申請號: 202010144591.5
• 申請日: 2020-03-04
• 公開（公告）號: CN111429405B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 王好謙;蔡宇麟;張永兵
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/26;G06V10/774;G06V10/74;G06V10/778;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 王震宇

一種基于3D?CNN的錫球缺陷檢測方法及裝置，該方法包括：1)讀取PCB板的三維重建模型，獲取錫球平面的橫截面并切割出檢測的目標區域；2)對目標區域進行二值化與圖像分割，得到單個的錫球圖像數據；3)將單個錫球圖像數據分類為訓練、驗證和測試集；4)建立基于Focal?Loss損失函數和Triplet?Loss損失函數的線性組合的3D?CNN網絡，將所得數據輸入建立的CNN進行訓練，得到檢測網絡模型，用以檢測PCB錫球缺陷。相比于以往的檢測網絡，本發明的檢測網絡模型的體積更小，且具有更好的檢測精度。

技術領域

本發明涉及計算機視覺領域，特別是一種基于3D?CNN的錫球缺陷檢測方法及裝置。

背景技術

在電子產品生產中，缺陷檢測環節對于保證產品質量的可靠性至關重要。其中，印刷電路板(PCB)是電子產品運轉的基礎，其上的錫球起到連接和導電的作用，因而要求其不能有較明顯的形狀缺陷以免影響系統性能。PCB錫球的缺陷主要可以分為兩類：一是枕狀變形效應(Head-In-Pillow?Effect)，二是空洞效應(Void?Effect)。枕狀變形效應是指在焊錫的過程中上下兩粒錫珠未充分熔合導致錫球冷卻后形成枕頭狀焊點的現象，這種缺陷是由焊錫時上下錫珠之間存在空氣縫隙，以及錫珠表面存在氧化層等因素導致的?？斩葱侵稿a球內部存在較大中空區域的現象，如果空洞過大，也將對錫球的導電性不利。這兩種常見缺陷均易導致電氣連接不穩定從而引起產品的間歇性故障，因而需要在產品檢測環節予以檢驗。然而，一方面，存在枕狀變形效應的錫球由于依然與電路板具有物理和電氣上的連接，因而容易被傳統機器檢測方法所忽視，有時甚至只能依賴于人工檢驗；另一方面，電子產品的電路元件密集度普遍較高，其PCB基本均采用多層設計。在對PCB進行掃描以備檢測時，所得圖像中元器件存在較為嚴重的重疊和遮擋現象?；趥鹘y模式識別方法的缺陷檢測技術對此難以達到理想的檢測效果。

近年來，深度學習理論被廣泛應用在計算機視覺領域。在眾多深度學習算法中，卷積神經網絡(CNN)在圖像識別和分類任務中表現出色，藉由三維CNN可以提取出3D圖像的高層次復雜特征，有利于應用在缺陷檢測任務當中。但是，經典的CNN網絡在數據量不足時容易出現過擬合問題，并且當供訓練的正反樣本數量差異較大時，容易導致模型過多地學習一種樣本的特征并忽略另一方的特征(即不平衡學習現象)，從而影響模型的泛化性能。然而對于PCB檢測而言，一方面訓練模型需要盡可能多的PCB板的三維重建數據，但由于涉及技術保密等因素，供實驗使用的PCB三維模型數據數量比較缺乏；另一方面，當下PCB的生產工藝越來越先進，導致板子中的缺陷錫球數目越來越少，過少的缺陷樣本也給模型的訓練增添了一定的障礙。本發明針對錫球三維樣本數據量不足，以及正反樣本數目不平衡的實際特點，對經典CNN算法進行了改進，使用Focal?Loss和Triplet?Loss設計了新的基于3DCNN的檢測算法，達到了較為理想的檢測效果。

發明內容

本發明的主要目的在于克服上述技術缺陷，提供一種基于3D?CNN的錫球缺陷檢測方法及裝置。

為實現上述目的，本發明采用以下技術方案：

一種基于3D?CNN的PCB錫球缺陷檢測方法，包括如下步驟：

1)讀取PCB板的三維重建模型，獲取錫球平面的橫截面并切割出檢測的目標區域；

2)對目標區域進行二值化與圖像分割，得到單個的錫球圖像數據；

3)將步驟2)中獲得的單個錫球圖像數據分類為訓練、驗證和測試集；

4)建立基于Focal?Loss損失函數和Triplet?Loss損失函數的線性組合的3D?CNN網絡，將所得數據輸入建立的CNN進行訓練，得到檢測網絡模型，用以檢測PCB錫球缺陷。

進一步地：