[發(fā)明專(zhuān)利]基于圖像處理的印刷電路板分類(lèi)方法、裝置及儲(chǔ)存介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202111457032.0
• 申請(qǐng)日: 2021-12-02
• 公開(kāi)（公告）號(hào): CN113870262B
• 公開(kāi)（公告）日: 2022-04-19
• 發(fā)明（設(shè)計(jì)）人: 王小平;曹萬(wàn);熊波;梁世豪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 武漢飛恩微電子有限公司
• 主分類(lèi)號(hào): G06T7/00
• 分類(lèi)號(hào): G06T7/00;G06V10/764;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 武漢天領(lǐng)眾智專(zhuān)利代理事務(wù)所(普通合伙) 42300
• 代理人: 楊建軍

1.一種基于圖像處理的印刷電路板分類(lèi)方法，其特征在于，包括以下步驟：

S1，獲取電路板板材表面圖片；

S2，對(duì)圖片進(jìn)行預(yù)處理；

S3，將預(yù)處理后的圖片輸入至ResNet-50網(wǎng)絡(luò)模型中訓(xùn)練，所述ResNet-50網(wǎng)絡(luò)模型中第二至四層的殘差模塊中加入注意力機(jī)制模塊，第五層采用多尺度最大池化模塊；

S4，利用RPN網(wǎng)絡(luò)獲取候選框，將得到的提議和特征映射輸入到Roi-Pooling模塊中獲取定長(zhǎng)特征；

S5，利用兩個(gè)全連接層分別進(jìn)行分類(lèi)和回歸操作，分類(lèi)操作獲取缺陷的類(lèi)別信息，回歸操作獲取缺陷的位置信息；

S6，確定電路板板材的最終分類(lèi)結(jié)果并顯示；

步驟S3中所述注意力機(jī)制模塊是通過(guò)全局池化操作將輸入的特征圖轉(zhuǎn)化為一維特征向量，即對(duì)每個(gè)通道上所有位置的值進(jìn)行相加求均，每個(gè)值為特征圖上每個(gè)通道的權(quán)重，通過(guò)對(duì)轉(zhuǎn)換后的一維特征向量進(jìn)行一維卷積來(lái)實(shí)現(xiàn)多通道交互；一維卷積運(yùn)算前后的特征向量的維數(shù)一致，然后通過(guò)sigmoid激活函數(shù)得到通道注意力權(quán)重，最后用原始特征圖乘以有注意力的特征圖；

步驟S3中所述多尺度最大池化模塊是將輸入特征圖池化為四種不同尺度：15×15、9×9、5×5和1×1原始特征圖，再合成四個(gè)不同感受野的特征圖；

步驟S2中所述預(yù)處理包括傾斜矯正、縮放、裁剪及標(biāo)準(zhǔn)化處理，所述傾斜矯正步驟具體包括：

S2.1，以圖像處理坐標(biāo)中左上角原點(diǎn)（0,0），橫坐標(biāo)向右增加，縱坐標(biāo)向下增加，待測(cè)產(chǎn)品的印刷電路板圖像邊緣輪廓處于坐標(biāo)軸中；

S2.2，確定左上和右下坐標(biāo)：圖像輪廓中設(shè)定距離原點(diǎn)最近的點(diǎn)為圖像左上點(diǎn)，距離原點(diǎn)最遠(yuǎn)的點(diǎn)為圖像右下點(diǎn)；

S2.3，確定圖像的傾斜方向：將圖像輪廓中圖像左下和右上分別定為點(diǎn)簇而非具體的某個(gè)點(diǎn)；

假設(shè)圖像的“右上”點(diǎn)簇中的所有點(diǎn)的縱坐標(biāo)都等于左上點(diǎn)的縱坐標(biāo)，則判定該圖是“端正”；假設(shè)圖像的“右上”點(diǎn)簇中的所有點(diǎn)的縱坐標(biāo)都大于左上點(diǎn)的縱坐標(biāo)，則判定該圖是“向右傾斜”；否則，判定該圖為“向左傾斜”；

S2.4，確定右上和左下坐標(biāo)：

根據(jù)步驟S2.3判定圖像為“端正”狀態(tài)時(shí)，橫坐標(biāo)最小且縱坐標(biāo)最大為左下點(diǎn)，橫坐標(biāo)最大且縱坐標(biāo)最小為右上點(diǎn)；

根據(jù)步驟S2.3判定圖像為“向右傾斜”狀態(tài)時(shí)，對(duì)“右上”點(diǎn)簇中的所有點(diǎn)按照橫坐標(biāo)降序排列，橫坐標(biāo)最大的點(diǎn)判定為右上點(diǎn)；對(duì)“左下”點(diǎn)簇中的所有點(diǎn)按照橫坐標(biāo)升序排列，橫坐標(biāo)最小的點(diǎn)判定為左下點(diǎn)；

根據(jù)步驟S2.3判定圖像為“向左傾斜”狀態(tài)時(shí)，對(duì)“右上”點(diǎn)簇中的所有點(diǎn)按照縱坐標(biāo)升序排列，縱坐標(biāo)最小的點(diǎn)判定為右上點(diǎn)；對(duì)“左下”點(diǎn)簇中的所有點(diǎn)按照縱坐標(biāo)降序排列，縱坐標(biāo)最大的點(diǎn)判定為左下點(diǎn)；

S2.5將步驟S2.4中準(zhǔn)確確定四角的圖像通過(guò)透視變換進(jìn)行校正，并適配標(biāo)準(zhǔn)模塊化圖像大小和方向。

2.如權(quán)利要求1所述的基于圖像處理的印刷電路板分類(lèi)方法，其特征在于，為了保持池化特征圖的大小不變，使用填充方法將邊界填充為零。

3.如權(quán)利要求1所述的基于圖像處理的印刷電路板分類(lèi)方法，其特征在于，步驟S4中所述利用RPN網(wǎng)絡(luò)是將多尺度最大池化模塊輸出的特征圖通過(guò)1×1卷積一次，調(diào)整通道數(shù)得到特征圖，經(jīng)過(guò) 3×3 卷積后特征圖分別進(jìn)行 9 通道 1×1 卷積和 36 通道 1×1 卷積。

4.如權(quán)利要求3所述的基于圖像處理的印刷電路板分類(lèi)方法，其特征在于，在模型訓(xùn)練之前對(duì)錨進(jìn)行編碼， 9個(gè)通道的1×1卷積用于預(yù)測(cè)特征圖上每個(gè)網(wǎng)格中是否存在缺陷目標(biāo)，輸出為檢測(cè)目標(biāo)的置信度，36個(gè)通道的1×1卷積用于預(yù)測(cè)特征圖上每個(gè)網(wǎng)格上每個(gè)錨坐標(biāo)的偏移量。

5.如權(quán)利要求4所述的基于圖像處理的印刷電路板分類(lèi)方法，其特征在于，檢測(cè)目標(biāo)的置信度小于置信閾值時(shí)，再次執(zhí)行訓(xùn)練步驟。