[發(fā)明專利]一種多層級的智能手機(jī)屏幕缺陷檢測方法

有效

• 申請?zhí)枺?/td>: 202110489131.0
• 申請日: 2021-04-30
• 公開（公告）號: CN113221881B
• 公開（公告）日: 2022-03-22
• 發(fā)明（設(shè)計）人: 陳垣毅
• 申請（專利權(quán)）人: 浙大城市學(xué)院
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/25;G06K9/62;G06N3/04;G06T3/40;G06T5/00;G06T5/20;G06T5/50;G06T7/00;G06T7/194
• 代理公司: 杭州九洲專利事務(wù)所有限公司 33101
• 代理人: 張羽振

本發(fā)明涉及一種多層級的智能手機(jī)屏幕缺陷檢測方法，包括步驟：人工標(biāo)注圖像中的缺陷，然后對前景缺陷圖像和背景圖像進(jìn)行分離；利用深度殘差網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)對數(shù)據(jù)集進(jìn)行多尺度缺陷區(qū)域特征抽取，得到多尺度特征圖像；抽取目標(biāo)興趣檢測區(qū)域。本發(fā)明的有益效果是：通過興趣檢測區(qū)域提取，有效地提升了圖像預(yù)處理的效率，并避免了現(xiàn)有的通用目標(biāo)檢測技術(shù)在手機(jī)屏幕缺陷檢測的小目標(biāo)檢測任務(wù)中受背景因素干擾大的問題，并針對實際落地應(yīng)用的數(shù)據(jù)集匱乏問題提出了針對性的增強(qiáng)方式，大大降低了前期的人力標(biāo)注投入，進(jìn)一步提高了整體方案的效率。

技術(shù)領(lǐng)域

本發(fā)明屬于手機(jī)屏幕缺陷檢測領(lǐng)域，尤其涉及一種多層級的智能手機(jī)屏幕缺陷檢測方法。

背景技術(shù)

屏幕作為智能手機(jī)的核心組成部分,是人機(jī)交互的關(guān)鍵所在,其質(zhì)量的好壞嚴(yán)重影響著用戶對手機(jī)的體驗。因此，各大手機(jī)生廠商對手機(jī)屏幕的生產(chǎn)工藝越來越苛刻。但是，手機(jī)屏幕在生產(chǎn)的過程中，又極容易受到生產(chǎn)環(huán)境和生產(chǎn)工藝的影響。為了防止裝有缺陷屏幕的手機(jī)流入市場損害消費(fèi)者的利益，對手機(jī)屏幕生廠商自身的信譽(yù)造成影響，各大手機(jī)屏幕生廠商采取一些必要的手段來對手機(jī)屏幕的質(zhì)量進(jìn)行檢測。傳統(tǒng)的檢測手段是在生產(chǎn)線上安排工人值守，工人對生產(chǎn)線上的屏幕用肉眼逐一進(jìn)行檢測。但是這種手段存在檢測效率慢、人工成本高、缺乏統(tǒng)一的判斷標(biāo)準(zhǔn)等缺點。此外，還有一些計算傳統(tǒng)計算機(jī)視覺技術(shù)的手機(jī)屏幕缺陷檢測技術(shù)，但這些方法大多只是針對一種或者幾種特定的缺陷類型進(jìn)行算法設(shè)計，一旦遇到新的缺陷，又要針對性的設(shè)計新的算法，缺乏通用性。具體而言，在智能手機(jī)屏幕外觀缺陷任務(wù)中，存在的主要難點有：

1)缺陷與背景具有較強(qiáng)的關(guān)聯(lián)性。感興趣區(qū)域是否存在缺陷需要結(jié)合其所處位置的背景信息綜合判斷，在不同的背景下，其是否為缺陷存在不確定性。例如異色類缺陷，其判定條件是前景缺陷與背景圖像存在色相、明度等顯著差異。

2)背景信息具有極大的干擾性。對于二維矩形圖像與不規(guī)則的目標(biāo)檢測區(qū)域之間的無關(guān)背景區(qū)域，具有較大的可能性存在與缺陷相似的區(qū)域。

3)缺陷種類繁多且界定模糊。由于不同的生產(chǎn)環(huán)境、生產(chǎn)標(biāo)準(zhǔn)和生產(chǎn)技術(shù)等差異，不同的生產(chǎn)場景下的手機(jī)屏幕存在不同類別的缺陷種類，且目前缺乏統(tǒng)一的分類標(biāo)準(zhǔn)，缺陷種類的標(biāo)定存在因人而異的問題。

4)標(biāo)定數(shù)據(jù)集質(zhì)量參差不齊。不同于學(xué)術(shù)界廣泛認(rèn)同使用的VOC、COCO等檢測數(shù)據(jù)集，工業(yè)界落地應(yīng)用的數(shù)據(jù)集需要因任務(wù)場景的不同需求進(jìn)行具體針對的定制化收集。基于主觀上標(biāo)定人員缺乏對人工智能技術(shù)的認(rèn)知匱乏和客觀上缺陷樣本區(qū)分度不高等因素，智能手機(jī)屏幕缺陷工業(yè)缺陷數(shù)據(jù)集存在主要兩個問題：一是不同類別下的樣本數(shù)據(jù)量相差大，不滿足獨立同分布條件；二是整體樣本數(shù)量不夠多。

上述前三點問題是手機(jī)屏幕外觀缺陷檢測任務(wù)中特定的難點問題，其原因在于缺陷的定義因場景而異，第4點問題則是目前各類深度學(xué)習(xí)算法落地應(yīng)用的普遍難點。

發(fā)明內(nèi)容

本發(fā)明的目的是克服現(xiàn)有技術(shù)中的不足，提供一種多層級的智能手機(jī)屏幕缺陷檢測方法。

這種多層級的智能手機(jī)屏幕缺陷檢測方法，包括以下步驟：

步驟1、人工標(biāo)注圖像中的缺陷，然后對前景缺陷圖像和背景圖像進(jìn)行分離；在標(biāo)注的前景缺陷圖像基礎(chǔ)上，對前景缺陷圖像在顏色和尺寸上進(jìn)行增強(qiáng)，擴(kuò)充前景缺陷的樣本數(shù)量和形態(tài)多樣性；最后結(jié)合增強(qiáng)后的前景缺陷圖像和背景圖像生成標(biāo)注可靠且類別均衡、適用于實際生產(chǎn)場景的數(shù)據(jù)集；

步驟1.1、人工標(biāo)注出少量圖像中每個前景缺陷圖像所處的矩形區(qū)域位置和類別信息，然后對前景缺陷圖像和背景圖像進(jìn)行分離；

步驟1.2、對前景缺陷圖像進(jìn)行圖像降噪處理：采用中值濾波處理圖像噪聲，將目標(biāo)點的灰度值設(shè)定為目標(biāo)點周圍一區(qū)域所有點的中值，使目標(biāo)點領(lǐng)域像素值更逼近真值，從而剔除獨立噪聲信號；

圖像濾波處理降噪后，會降低圖像輪廓和邊緣的清晰度，采用拉普拉斯算子對降噪后的圖像進(jìn)行銳化處理，增強(qiáng)圖像中物體和背景灰度值之間的差距：