[發明專利]基于多維融合及語義分割的電子器件缺陷檢測方法及裝置

有效

• 申請號: 201810909279.3
• 申請日: 2018-08-10
• 公開（公告）號: CN109087274B
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 屈楨深;李瑞坤;徐超凡
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/00;G06T7/12;G06T7/13;G06T7/136;G06T7/30
• 代理公司: 北京隆源天恒知識產權代理事務所(普通合伙) 11473
• 代理人: 閆冬;吳航

1.基于多維融合及語義分割的電子器件缺陷檢測方法，其特征在于，包括：

步驟a，獲取電子元器件外觀的二維圖像數據及三維點云數據；

步驟c，對所述二維圖像數據及所述三維點云數據進行配準處理，構建多通道復合圖像；

步驟d，通過語義分割網絡對所述多通道復合圖像進行缺陷檢測和分類；

所述語義分割網絡依次包括：

至少一卷積層、一池化層、至少一功能層、一歸一卷積層和一反卷積層；其中，所述歸一卷積層，為濾波器數為1的所述卷積層；所述功能層包括依次連接的至少一所述卷積層和一所述池化層；

所述功能層的數量的計算公式為：

式中，k為功能層數量，p為所述電子元器件上缺陷的最小尺度，單位為mm，[]為向下取整符號。

2.如權利要求1所述的電子器件缺陷檢測方法，其特征在于，所述語義分割網絡的具體結構為：

第一層，卷積核大小為3、步長為1的卷積層，輸出特征圖數目為64；

第二層，池化核大小為2、步長為2的池化層；

第三層，卷積核大小為9、步長為1的卷積層，輸出特征圖數目為128；

第四層，卷積核大小為1、步長為1的卷積層，輸出特征圖數目為64；

第五層，池化核大小為2、步長為2的池化層；

第六層，卷積核大小為9、步長為1的卷積層，輸出特征圖數目為256；

第七層，卷積核大小為1、步長為1的卷積層，輸出特征圖數目為128；

第八層，卷積核大小為3、步長為1的卷積層，輸出特征圖數目為64；

第九層，卷積核大小為3、步長為1的卷積層，輸出特征圖數目為1；

第十層，卷積核大小為9，步長為4的反卷積層，輸出特征數目為1。

3.如權利要求1所述的電子器件缺陷檢測方法，其特征在于，還包括步驟b，對所述二維圖像數據及所述三維點云數據進行預處理和粗檢，并將預處理后的所述三維點云數據轉換為深度重構圖。

4.如權利要求3所述的電子器件缺陷檢測方法，其特征在于，所述三維點云數據轉換為深度重構圖中，包括：

步驟b251，將所述三維點云數據的每個點映射到所述深度重構圖中；

步驟b252，將所述深度重構圖的灰度值進行歸一化。

5.如權利要求4所述的電子器件缺陷檢測方法，其特征在于，所述三維點云數據的每個點映射到所述深度重構圖中的映射關系滿足：

其中，I_rd(X,Y)代表深度重構圖中第X行、第Y列像素點的像素值，[]為向下取整符號，M_XY是以點(X,Y)為中心，大小為3×3的矩陣，Ratio為擴大比例，表示矩陣的卷積運算。

6.如權利要求3所述的電子器件缺陷檢測方法，其特征在于，所述步驟c包括：

步驟c3，確定所述二維圖像數據與所述深度重構圖之間的比例關系；

步驟c4，建立所述二維圖像數據與所述深度重構圖中相同區域的匹配關系；

步驟c5，對所述深度重構圖進行超分辨率處理，使之與所述二維圖像數據的分辨率相同；

步驟c6，將所述二維圖像數據與超分辨率處理后的所述深度重構圖組合為所述多通道復合圖像。