[發(fā)明專利]基于深度學(xué)習(xí)的六面體缺陷檢測方法及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011107320.9
• 申請日: 2020-10-16
• 公開（公告）號: CN112365443B
• 公開（公告）日: 2021-10-12
• 發(fā)明（設(shè)計）人: 陳文吉;曾勝;龔博;喻超凡;朱禮平
• 申請（專利權(quán)）人: 珠海市奧德維科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/62;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 俞梁清

本發(fā)明涉及一種基于深度學(xué)習(xí)的六面體缺陷檢測方法及介質(zhì)的技術(shù)方案，包括：采集電子元器件的圖像數(shù)據(jù)，將圖像數(shù)據(jù)轉(zhuǎn)化為深度學(xué)習(xí)的圖像矩陣，并歸一化保存于隊列中；隊列中的圖片數(shù)據(jù)滿足深度學(xué)習(xí)處理時，將圖片數(shù)據(jù)進(jìn)行打包發(fā)送至已訓(xùn)練的Unet模型；通過Unet模型輸出語義分割結(jié)果，根據(jù)語義分割結(jié)果執(zhí)行形狀判斷；根據(jù)判斷結(jié)果，通過檢測設(shè)備對電子元器件的對應(yīng)部位進(jìn)行檢測。本發(fā)明的有益效果為：深度學(xué)習(xí)的訓(xùn)練方式代替?zhèn)鹘y(tǒng)算法，降低了開發(fā)周期；深度學(xué)習(xí)運算在GPU上，不受CPU的限制，節(jié)省了設(shè)備成本；深度學(xué)習(xí)的所圈即所檢，無需調(diào)參數(shù)，無需專業(yè)人員，操作簡單；在優(yōu)質(zhì)的數(shù)據(jù)標(biāo)簽下，復(fù)雜背景可輕易挑選出來，能夠更加精確的進(jìn)行缺陷檢測。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機及電子元器件檢測領(lǐng)域，具體涉及了一種基于深度學(xué)習(xí)的六面體缺陷檢測方法及介質(zhì)。

背景技術(shù)

在生產(chǎn)電子元器件過程中，難免會受到各種工藝、材料、溫度、搬運等外界不可控因素影響，進(jìn)而導(dǎo)致電子元器件會產(chǎn)生劃痕、黑點、裂紋、裂縫等缺陷，而這種缺陷嚴(yán)重會直接導(dǎo)致電路短路等問題。六面體缺陷檢測是只指對這種產(chǎn)品表面可見的缺陷進(jìn)行判斷并挑選出來。

傳統(tǒng)的方式是基于圖像處理分析，每個產(chǎn)品由震動盤上料到一個旋轉(zhuǎn)的玻璃圓盤上排列，并依次經(jīng)過6個相機，6個相機分別拍下電子元器件的6個表面的圖像進(jìn)而分析。每個相機的圖片需要分別寫缺陷檢測算法，挑選出需要檢測的部分，進(jìn)而判斷并測量挑選出來的區(qū)域是否在正常品的規(guī)格之內(nèi)，然后通過六面體檢測設(shè)備挑選出來。

基于傳統(tǒng)算法的檢測技術(shù)，在一定程度上解決了檢測電子元器件的需求，實現(xiàn)了自動化檢測。但是傳統(tǒng)算法有幾點弊端無法解決，難以進(jìn)一步發(fā)展下去。

1、傳統(tǒng)算法切換產(chǎn)品時，需要圖像處理工程師重新開發(fā)；

2、傳統(tǒng)算法基于CPU檢測，在檢測速度上容易遇到瓶頸；

3、開發(fā)的程序需要調(diào)試大量的參數(shù)；

4、復(fù)雜表面的缺陷開發(fā)難度大。

發(fā)明內(nèi)容

本發(fā)明的目的在于至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一，提供了一種基于深度學(xué)習(xí)的六面體缺陷檢測方法及介質(zhì)，在低成本的設(shè)備條件下，實現(xiàn)便捷及較高精度的缺陷檢測。

本發(fā)明的技術(shù)方案包括一種基于深度學(xué)習(xí)的六面體缺陷檢測方法，其特征在于，該方法包括：S100，通過攝像裝置采集電子元器件的圖像數(shù)據(jù)，將圖像數(shù)據(jù)轉(zhuǎn)化為深度學(xué)習(xí)的圖像矩陣，并歸一化保存于隊列中；S200，隊列中的圖片數(shù)據(jù)滿足深度學(xué)習(xí)處理時，將圖片數(shù)據(jù)進(jìn)行打包發(fā)送至已訓(xùn)練的Unet模型；S300，通過Unet模型輸出語義分割結(jié)果，根據(jù)語義分割結(jié)果執(zhí)行形狀判斷；S400，根據(jù)判斷結(jié)果，通過檢測設(shè)備對電子元器件的對應(yīng)部位進(jìn)行檢測。

根據(jù)所述的基于深度學(xué)習(xí)的六面體缺陷檢測方法，其中將圖像數(shù)據(jù)轉(zhuǎn)化為深度學(xué)習(xí)的圖像矩陣包括：對不同攝像裝置所采集的圖像的原始數(shù)據(jù)進(jìn)行多樣化處理，并通過統(tǒng)一接口轉(zhuǎn)換為深度學(xué)習(xí)的矩陣結(jié)構(gòu)數(shù)據(jù)。

根據(jù)所述的基于深度學(xué)習(xí)的六面體缺陷檢測方法，其中Unet模型的訓(xùn)練包括：S210，將待檢測產(chǎn)品經(jīng)過六面體機器采集圖片，將圖片按照掩膜的方式標(biāo)注圖像區(qū)域，并進(jìn)行區(qū)域分類；S220，對圖片進(jìn)行數(shù)據(jù)擴增和數(shù)據(jù)增強，得到圖片集；S230，將圖片集按照設(shè)定比例劃分為訓(xùn)練集和測試集，本發(fā)明使用是8：2，根據(jù)實際情況不限于此比例；S240，獲取標(biāo)簽數(shù)據(jù)的區(qū)域分類面積，計算區(qū)域分類面積與分類區(qū)域的總面積的比例；S250，通過隨機梯度下降執(zhí)行收斂處理；S260，基于4層下采樣及4層上采樣的Unet模型，對每層相同維度之間進(jìn)行特征融合；S270，收斂采用增加權(quán)重的softmax交叉熵，其中總loss＝權(quán)重*分類loss；S280，對Unet模型生成的熱度圖采用softmax和argmax的結(jié)合進(jìn)行分類匯總，計算每個像素點屬于對應(yīng)分類的概率。

根據(jù)所述的基于深度學(xué)習(xí)的六面體缺陷檢測方法，其中數(shù)據(jù)增強包括旋轉(zhuǎn)角度、增加噪點及動態(tài)生成缺陷圖片。