[發明專利]一種印制電路板表面缺陷定位與識別方法

有效

• 申請號: 202010036848.5
• 申請日: 2020-01-14
• 公開（公告）號: CN111260621B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 袁小芳;謝黎;劉琛;王耀南
• 申請（專利權）人: 湖南大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/30;G06N3/0464
• 代理公司: 長沙市護航專利代理事務所(特殊普通合伙) 43220
• 代理人: 鄧翠;莫曉齊

1.一種印制電路板表面缺陷定位與識別方法，其特征在于，包括如下步驟：

(1)圖像采集：采集印制電路板待測圖像I(x,y)與模板圖像T(x,y)；

(2)圖像配準：通過兩個卷積神經網絡精確配準待測圖像I(x,y)及模板圖像T(x,y)，得到配準后的待測圖像

(3)缺陷定位：將配準后的待測圖像與模板圖像T(x,y)通過傅立葉變換及反變換，定位疑似缺陷區域D＝{Dect(x_i,y_i,w_i,h_i)0iK}，其中，Dect(x_i,y_i,w_i,h_i)為坐標在(x_i,y_i),長、寬為w_i,h_i的矩形區域，K為大于0的自然數；

(4)缺陷識別：將集合D中疑似缺陷區域圖像塊輸入第三個卷積神經網絡，進行缺陷識別，得到缺陷類型；

所述步驟(2)圖像配準具體包括以下步驟：

(21)以待測圖像I(x,y)的像素點(x_i,y_i)為中心獲取尺寸為32×32的圖像塊，并將該圖像塊送入第一個卷積神經網絡，得到該像素點(x_i,y_i)為疑似特征點的預測值socre_i；

(22)通過預測值socre_i獲得待測圖像I(x,y)的預測值分布圖S(x,y)，并通過非極大值抑制算法篩選S(x,y)中預測值的所有局部極大值點P_I＝{(x_n,y_n)1≤n≤N}，將這些點作為待測圖像I(x,y)的最終特征點，P_I即為最終特征點集合，其中，N為大于1的自然數；

(23)以最終特征點集合P_I中所有特征點(x_n,y_n)為中心，將尺寸為32×32的圖像塊輸入第二個卷積神經網絡，得到描述各特征點(x_n,y_n)的128維特征向量,得到P_I所有特征點的描述向量集合

(24)將待測印制電路板的模板圖像T(x,y)同樣經過步驟(21)至(23)，得到模板圖像T(x,y)的特征點集合P_T＝{(x_m,y_m)|1≤m≤M}及其描述向量其中，M為大于1的自然數；

(25)根據待測圖像I(x,y)的最終特征點集合P_I與模板圖像T(x,y)的特征點集合P_T，計算集合P_I中任意一個特征點(x_n,y_n)與集合P_T的所有點對應的描述向量的距離，將距離最小的一對特征點作為匹配點，得到匹配點集合H＝{(x_n,y_n,x_m,y_m)|(x_n,y_n)∈P_I,(x_m,y_m)∈P_T,1≤n≤N}，距離度量公式為：

式中，為特征點(x_n,y_n)的128維特征向量的倒置矩陣；

(26)根據匹配點集合采用隨機抽樣一致算法計算待測圖像I(x,y)到模板圖像T(x,y)的仿射變換矩陣T，將待測圖像I(x,y)通過仿射變換矩陣投影到模板圖像T(x,y)上，得到配準后的待測圖像

所述步驟(3)缺陷定位具體包括以下步驟：

(31)灰度化步驟(2)中配準后的待測圖像與模板圖像T(x,y)，并將兩幅圖像分別分割為36塊尺寸為120×120的局部圖像通過傅立葉變換求得所有局部圖像的頻域譜及功率譜具體計算公式為：

式中，(x,y)為大小M×N的原圖像上的一點，原圖像矩陣所在的坐標系稱為空間域，F(u,v)為輸入圖像的二維傅立葉變換后的頻域矩陣，其所在坐標系即為頻域，u和v用于確定正余弦的頻率，P(u,v)為原圖像的功率譜；

(32)將功率譜轉換為極坐標形式對于沿著任意方向θ的匹配圖像功率譜計算配準后待測圖像塊與模板圖像塊T(x,y)_i的異常頻率分量計算公式為：

式中，C取值1.25，分別表示極坐標形式下待測圖像塊距離功率譜中心角度為θ、長度為γ-1、γ+1處的功率譜值，P_T(γ-1,θ)_i、P_T(γ+1,θ)_i分別表示極坐標形式下模板圖像塊T(x,y)_i距離功率譜中心角度為θ、長度為γ-1、γ+1處的功率譜值；

(33)將得到的異常頻率分量保留，其他頻率分量置為0，得到異常頻率譜，將異常頻率譜通過傅立葉反變換為空間域圖像，并將該空間域像素值為1的區域分割成多個不同大小的連通域，這些連通域的最小外接矩陣框的集合D＝{Dect(x_i,y_i,w_i,h_i)|0iK}，即為原圖像I(x,y)中疑似缺陷的位置；

所述步驟(4)缺陷識別具體包括以下步驟：

(41)將原圖像I(x,y)在疑似缺陷位置框Dect(x_i,y_i,w_i,h_i)上的圖像裁剪成圖像塊Dect_I(x_i,y_i,w_i,h_i)；

(42)將圖像塊Dect_I(x_i,y_i,w_i,h_i)送入第三個卷積神經網絡，得到疑似區域的缺陷識別概率分布{Re1,Re2,Re3,Re4,Re5,Re6}，其中1～6分別代表印制電路板上常見的短路、斷路、孔洞、漏孔、毛刺、余銅六類缺陷，將輸出序列中概率最高的一類作為疑似區域的缺陷類別，即得到最終的識別結果。