[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)剪枝算法的手機屏幕MURA缺陷檢測方法

有效

• 申請?zhí)枺?/td>: 201611154333.5
• 申請日: 2016-12-14
• 公開（公告）號: CN106875373B
• 公開（公告）日: 2019-12-20
• 發(fā)明（設(shè)計）人: 宋明黎;高鑫;沈紅佳;邱畫謀
• 申請（專利權(quán)）人: 惠州旭鑫智能技術(shù)有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08
• 代理公司: 44245 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司
• 代理人: 蔣劍明

基于卷積神經(jīng)網(wǎng)絡(luò)剪枝算法的手機屏幕MURA缺陷檢測方法,包括：1)自定義深度卷積神經(jīng)網(wǎng)絡(luò)，利用已有的訓(xùn)練數(shù)據(jù)訓(xùn)練一個用來檢測手機屏幕MURA缺陷的神經(jīng)網(wǎng)絡(luò)；2)利用自適應(yīng)模板匹配的方法來進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的剪枝操作，減小網(wǎng)絡(luò)規(guī)模，縮短算法運行時間；3)將高分辨率相機拍攝的手機屏幕圖片進(jìn)行不同比例的縮放，形成圖片金字塔，對于每個尺度的圖片，利用滑窗的方法將圖片分割成小塊，將所有小塊圖片作為一個組一起送入卷積神經(jīng)網(wǎng)絡(luò)中；4)選取中間層的所有特征圖作為缺陷的響應(yīng)圖，采用閾值分割的方法最終獲得手機屏幕MURA缺陷區(qū)域位置。

技術(shù)領(lǐng)域

本發(fā)明屬于目標(biāo)檢測與識別領(lǐng)域，涉及從圖像中檢測特定目標(biāo)，具體是檢測手機屏幕缺陷的方法。

背景技術(shù)

傳統(tǒng)的用人工檢測屏幕瑕疵方法存在諸多不足之處，在工業(yè)生產(chǎn)高速發(fā)展的今天，它已經(jīng)完全無法適應(yīng)當(dāng)今工業(yè)生產(chǎn)高效、準(zhǔn)確的要求。對手機屏幕產(chǎn)商而言，尋找一種高效、準(zhǔn)確的自動化檢測設(shè)備用以替代人工檢測環(huán)節(jié)，成為了迫切的需求。隨著計算機視覺、圖像處理等領(lǐng)域的發(fā)展，基于機器視覺的自動化檢測系統(tǒng)成為了一種良好的解決方案。該方案通過高分辨率工業(yè)相機采集手機屏幕圖像，然后將圖像信息通過圖像分析模塊進(jìn)行實時的處理，從而判斷手機屏幕是否合格。

傳統(tǒng)的基于機器視覺的屏幕缺陷檢測算法，大多是針對一種或幾種類別的屏幕缺陷進(jìn)行設(shè)計的，不具有通用性，所以對于特殊的瑕疵，需要寫專門的算法。由于屏幕的特殊性，拍照時在成像上的摩爾紋是不可避免的，而傳統(tǒng)算法不能很好地解決摩爾紋問題。另外，傳統(tǒng)的算法雖然可以檢測較明顯的線狀、點狀缺陷，但是對于成像上很淡的團狀MURA缺陷，準(zhǔn)確率很低。最后，傳統(tǒng)的屏幕缺陷檢測算法需要調(diào)節(jié)大量參數(shù)，尤其是在屏幕產(chǎn)品換型時，調(diào)整大量參數(shù)會導(dǎo)致時間的浪費。因此，設(shè)計一個具有良好泛化性的算法具有非常實用的價值。

近年來，深度學(xué)習(xí)方法在計算機視覺領(lǐng)域產(chǎn)生了巨大的影響。深度學(xué)習(xí)采用多層網(wǎng)絡(luò)結(jié)構(gòu)，模擬人腦中神經(jīng)系統(tǒng)的層次關(guān)系和傳遞方式，它已經(jīng)在模式識別的多個領(lǐng)域得到了廣泛的應(yīng)用并取得了良好的成績。本方法采用基于深度卷積神經(jīng)網(wǎng)絡(luò)的分類算法，使用預(yù)處理后的手機屏幕局部圖像塊作為分類器的輸入，然后抽取卷積神經(jīng)網(wǎng)絡(luò)的特征圖作為檢測結(jié)果，將缺陷檢測問題轉(zhuǎn)變成一個圖像塊分類問題，通過此方法得到的深度模型不僅能夠有效地學(xué)習(xí)到圖像的背景紋理模式，從含有背景紋理的圖像塊中準(zhǔn)確地定位缺陷的位置，而且對于團狀MURA缺陷有很高的準(zhǔn)確率。此外，使用卷積神經(jīng)網(wǎng)絡(luò)算法相比傳統(tǒng)算法，參數(shù)設(shè)置更少，由于算法具有良好的通用性，尤其適用于屏幕產(chǎn)品的快速換型，縮短換型時間，提高產(chǎn)線效率。

發(fā)明內(nèi)容

本發(fā)明要克服基于機器視覺的屏幕缺陷檢測算法的上述缺陷，提供一種基于卷積神經(jīng)網(wǎng)絡(luò)剪枝算法的手機屏幕MURA缺陷檢測方法。

為實現(xiàn)上述目的，本發(fā)明所述的基于卷積神經(jīng)網(wǎng)絡(luò)剪枝算法的手機屏幕MURA缺陷檢測方法包括如下步驟：

1)自定義卷積神經(jīng)網(wǎng)絡(luò)，通過訓(xùn)練數(shù)據(jù)訓(xùn)練該網(wǎng)絡(luò)直到收斂并且有較高準(zhǔn)確率；

2)通過自適應(yīng)模板匹配的方法來進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的剪枝，縮小網(wǎng)絡(luò)規(guī)模和網(wǎng)絡(luò)參數(shù)；

3)采集手機屏幕圖片數(shù)據(jù)，生成圖片金字塔，分割成圖片塊，用于測試階段數(shù)據(jù)生成，送入到步驟2)獲得的剪枝后的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行運算；

4)取中間隱層的特征圖之和作為響應(yīng)圖，采用閾值分割的方法獲得缺陷最終位置并圈出，該方法尤其用于檢測MURA缺陷。

步驟2)所述的自適應(yīng)模板匹配的剪枝具體是：把網(wǎng)絡(luò)中間隱層的特征圖有響應(yīng)的部分對應(yīng)到原圖中，該部分作為前景，剩下部分作為背景，計算前景和背景的平均亮度差異；取差異最大的若干個特征圖進(jìn)行保留；把剩下的特征圖和與之相關(guān)的卷積核從網(wǎng)絡(luò)上剪枝。

步驟3)所述的圖片金字塔具體是：將原始高分辨率圖片縮小成不同尺度的圖片，這些不同尺度的圖片合起來稱為一組圖片金字塔。使用圖片金字塔的目的是來檢測不同尺度上、不同大小的瑕疵。