[發(fā)明專利]基于改進(jìn)全卷積網(wǎng)絡(luò)的BGA焊球區(qū)域分割方法

在審

• 申請?zhí)枺?/td>: 202110357621.5
• 申請日: 2021-04-01
• 公開（公告）號: CN115170457A
• 公開（公告）日: 2022-10-11
• 發(fā)明（設(shè)計）人: 李春泉;陳雅瓊;黃紅艷;劉正偉;尚玉玲;侯杏娜;王僑
• 申請（專利權(quán)）人: 桂林電子科技大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/194;G06V10/774;G06V10/764;G06V10/44;G06V10/46;G06V10/70;G06V10/80;G06V10/82;G06N3/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于改進(jìn)全卷積網(wǎng)絡(luò)的BGA焊球區(qū)域分割方法，其特征在于，包括以下步驟：

（1）對BGA圖像數(shù)據(jù)集進(jìn)行采集制作，利用labelme打標(biāo)工具對圖像進(jìn)行標(biāo)注，并將標(biāo)注后的文件進(jìn)行轉(zhuǎn)化，同時為了增強(qiáng)訓(xùn)練網(wǎng)絡(luò)的泛化能力和魯棒性，對圖像進(jìn)行一系列增強(qiáng)擴(kuò)充處理；

（2）對于BGA焊球區(qū)域的分割進(jìn)行了卷積網(wǎng)絡(luò)分析選擇，并對該網(wǎng)絡(luò)進(jìn)行進(jìn)一步優(yōu)化，添加卷積層對圖像信息特征進(jìn)行進(jìn)一步提??；

（3）提出了多尺度特征信息融合策略進(jìn)一步優(yōu)化比例融合系數(shù)，引入粒子群算法(PSO)來優(yōu)化融合比例系數(shù)；

（4）合理設(shè)置卷積層、池化層、反卷積等尺寸參數(shù)，同時對訓(xùn)練時損失函數(shù)、優(yōu)化器、迭代次數(shù)等相關(guān)參數(shù)進(jìn)行設(shè)計，對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并制定測試流程對待測圖像進(jìn)行BGA焊球區(qū)域分割。

2.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)全卷積網(wǎng)絡(luò)的BGA焊球區(qū)域分割方法，其特征在于，所述步驟（1）的具體子步驟如下：

步驟1.1）、BGA圖像數(shù)據(jù)集由X-Ray檢測系統(tǒng)平臺XD7600NT采集獲得，一共選取BGA圖像600張作為數(shù)據(jù)集；

步驟1.2）、制作數(shù)據(jù)集標(biāo)簽，采用labelme打標(biāo)工具來進(jìn)行圖像標(biāo)注；

步驟1.3）、將標(biāo)注修正后的圖像進(jìn)行保存，將生成單個的json文件進(jìn)行轉(zhuǎn)化；

步驟1.4）、將轉(zhuǎn)化后文件用不同顏色對背景和目標(biāo)區(qū)域進(jìn)行標(biāo)注；

步驟1.5）、將標(biāo)注圖像轉(zhuǎn)換成只含有像素0和1的標(biāo)簽圖像；

步驟1.6）、對BGA圖像數(shù)據(jù)集進(jìn)行增強(qiáng)操作，通過縮放、旋轉(zhuǎn)、添噪、亮度調(diào)整等方式進(jìn)一步擴(kuò)充數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)全卷積網(wǎng)絡(luò)的BGA焊球區(qū)域分割方法,其特征在于，所述步驟（2）的具體子步驟如下：

步驟2.1）、對全卷積網(wǎng)絡(luò)系列算法進(jìn)行對比測試；

步驟2.2）、在選擇的全卷積網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行改進(jìn)，在第四層卷積池化層pool_4和第七層卷積池化層pool_7輸出進(jìn)行上采樣之后進(jìn)一步進(jìn)行卷積提取細(xì)節(jié)特征分別得到Pool4和Pool7，同時對第三層卷積池化之后的結(jié)果圖pool_3也進(jìn)行卷積操作得到Pool3，并將Pool3、Pool4與Pool7按照比例進(jìn)行融合。

4.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)全卷積網(wǎng)絡(luò)的BGA焊球區(qū)域分割方法，其特征在于，所述步驟（3）為：提出了多尺度特征信息融合策略進(jìn)一步優(yōu)化比例融合系數(shù)，引入粒子群算法(PSO)來優(yōu)化融合比例系數(shù)將比例融合因子作為超參數(shù)來實現(xiàn)不同比例的多尺度特征信息融合，經(jīng)過優(yōu)化操作得到改進(jìn)后的網(wǎng)絡(luò)P-FCN8s。

5.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)全卷積網(wǎng)絡(luò)的BGA焊球區(qū)域分割方法，其特征在于，所述步驟（4）為：改進(jìn)后的全卷積網(wǎng)絡(luò)包括7個卷積層組、5個池化層、3個卷積層和3個反卷積層，其中，第1和第2個卷積層組每層包含2個卷積過程，第 3，4和5個卷積層組每層包含3個卷積過程，前5個卷積層組中每個卷積層組后會跟一個池化層；卷積層均采用3×3的卷積核，該卷積核既有良好的接受場，同時參數(shù)的數(shù)量也少，能減少計算量；所有卷積過程中的步長均為1，以便更精細(xì)地提取特征，盡量不丟失任何邊緣信息，訓(xùn)練網(wǎng)絡(luò)之前時，對訓(xùn)練數(shù)據(jù)進(jìn)行shuffle操作，使得獲取的數(shù)據(jù)集數(shù)據(jù)覆蓋每個分布，有對數(shù)據(jù)集進(jìn)行重新洗牌的作用增強(qiáng)了網(wǎng)絡(luò)的魯棒性，在卷積層中引入BN層加快網(wǎng)絡(luò)收斂速度，避免出現(xiàn)過擬合現(xiàn)象，網(wǎng)絡(luò)訓(xùn)練輸入的圖像尺寸為224×224，輸出與輸入圖像大小保持一致。

6.根據(jù)權(quán)利要求5所述的一種基于改進(jìn)全卷積網(wǎng)絡(luò)的BGA焊球區(qū)域分割方法，其特征在于，所述步驟（4）中的改進(jìn)全卷積網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)為：卷積層組conv1的尺寸為3×3、步長為1、通道數(shù)為64、輸出維度為224×224×64；池化層1的尺寸為2×2、步長為2、輸出維度為112×112×64；卷積層組conv2的尺寸為3×3、步長為1、通道數(shù)為128、輸出維度為112×112×128；池化層2的尺寸為2×2、步長為2、輸出維度為56×56×128；卷積層組conv3、的尺寸為3×3、步長為1、通道數(shù)為256、輸出維度為56×56×256；池化層3的尺寸為2×2、步長為2、輸出維度為28×28×256；卷積層組conv4的尺寸為3×3、步長為1、通道數(shù)為512、輸出維度為28×28×512；池化4的尺寸為2×2、步長為2、輸出維度為14×14×512；卷積層組conv5的尺寸為3×3、步長為1、通道數(shù)為512、輸出維度為14×14×512；池化5的尺寸為2×2、步長為2、輸出維度為7×7×512；卷積層conv6的尺寸為3×3、步長為1、通道數(shù)為4096、輸出維度為7×7×4096；卷積層conv7的尺寸為3×3、步長為1、通道數(shù)為4096、輸出維度為7×7×4096；卷積8的尺寸為3×3、步長為1、通道數(shù)為256、輸出維度為28×28×256；卷積9的尺寸為3×3、步長為1、通道數(shù)為256、輸出維度為28×28×256；卷積10的尺寸為3×3、步長為1、通道數(shù)為256、輸出維度為28×28×256；反卷積1的尺寸為3×3、步長為4、通道數(shù)為512、輸出維度為28×28×512；反卷積2的尺寸為3×3、步長為2、通道數(shù)為512、輸出維度為28×28×512；反卷積3的尺寸為3×3、步長為8、通道數(shù)為3、輸出維度為224×224×3。