[發(fā)明專(zhuān)利]復(fù)雜背景下基于視覺(jué)的壓雪車(chē)外觀(guān)缺陷檢測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110467536.4
• 申請(qǐng)日: 2021-04-28
• 公開(kāi)（公告）號(hào): CN113160192B
• 公開(kāi)（公告）日: 2022-09-16
• 發(fā)明（設(shè)計(jì)）人: 陳哲涵;張楓樺
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京科技大學(xué)
• 主分類(lèi)號(hào): G06T7/00
• 分類(lèi)號(hào): G06T7/00;G06T7/11;G06V10/762;G06V10/764;G06V10/82;G06V10/74;G06N3/04;G06N3/08
• 代理公司: 北京孚睿灣知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11474
• 代理人: 王冬杰

本發(fā)明提供一種復(fù)雜背景下基于視覺(jué)的壓雪車(chē)外觀(guān)缺陷檢測(cè)方法，其包括以下步驟：S1：利用移動(dòng)終端通過(guò)隨意拍攝的方式采集目標(biāo)物體待檢測(cè)區(qū)域圖像，將圖像信息傳輸?shù)缴衔粰C(jī)；S2：上位機(jī)接收?qǐng)D像信息，并對(duì)圖像進(jìn)行缺陷檢測(cè)；S3：上位機(jī)保存檢測(cè)結(jié)果，最終生成檢測(cè)報(bào)告。本發(fā)明將對(duì)象級(jí)缺陷檢測(cè)與半監(jiān)督缺陷分類(lèi)相結(jié)合，提出了一種在復(fù)雜背景下實(shí)現(xiàn)對(duì)象級(jí)自動(dòng)標(biāo)注的半監(jiān)督缺陷檢測(cè)方法，該方法能夠在少樣本訓(xùn)練的情況下，識(shí)別多目標(biāo)、多類(lèi)別、小尺度的缺陷。

技術(shù)領(lǐng)域

本發(fā)明涉及壓雪車(chē)外觀(guān)缺陷檢測(cè)方法領(lǐng)域，具體地涉及一種基于視覺(jué)的能夠在復(fù)雜背景下僅依靠少量標(biāo)注即可實(shí)現(xiàn)對(duì)象級(jí)自動(dòng)標(biāo)注的壓雪車(chē)外觀(guān)缺陷檢測(cè)技術(shù)。

背景技術(shù)

產(chǎn)品外觀(guān)檢測(cè)是生產(chǎn)制造過(guò)程中產(chǎn)品質(zhì)量控制的關(guān)鍵步驟。基于視覺(jué)的外觀(guān)缺陷檢測(cè)方法憑借其快速、魯棒的特性，在織物、金屬、木材等多個(gè)領(lǐng)域得到廣泛應(yīng)用。基于視覺(jué)的缺陷檢測(cè)核心是缺陷特征提取，根據(jù)特征提取方式的不同，可將檢測(cè)方法分為以下兩類(lèi)：基于人工特征提取的數(shù)字圖像處理方法和基于神經(jīng)網(wǎng)絡(luò)特征自提取的深度學(xué)習(xí)方法。

數(shù)字圖像處理方法是根據(jù)缺陷的具體情況，手動(dòng)設(shè)計(jì)缺陷特征提取算子。盡管該方法具有無(wú)監(jiān)督、可解釋性強(qiáng)的優(yōu)點(diǎn)，但泛化性不足，對(duì)于復(fù)雜背景下的多目標(biāo)檢測(cè)，往往容易造成漏檢以及誤判。近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)的方法不斷應(yīng)用到缺陷檢測(cè)任務(wù)上，取得了不錯(cuò)的效果。得益于CNN強(qiáng)大的特征提取能力，在有大量樣本可供訓(xùn)練的通用缺陷數(shù)據(jù)集上，采用深度學(xué)習(xí)的檢測(cè)方法可以達(dá)到較高的精度。然而實(shí)際的生產(chǎn)過(guò)程中，不僅缺陷樣本數(shù)量少、種類(lèi)多，且缺陷樣本的對(duì)象級(jí)標(biāo)注需要專(zhuān)業(yè)人員耗費(fèi)大量的時(shí)間。

針對(duì)復(fù)雜背景下多目標(biāo)多尺度缺陷，且對(duì)象級(jí)標(biāo)注的缺陷樣本數(shù)量較少的問(wèn)題，一些學(xué)者采用了半監(jiān)督學(xué)習(xí)策略。半監(jiān)督學(xué)習(xí)介于監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)之間，該方法能充分利用有標(biāo)簽數(shù)據(jù)訓(xùn)練初始分類(lèi)器，并利用大量無(wú)標(biāo)簽數(shù)據(jù)優(yōu)化模型，能有效解決有監(jiān)督學(xué)習(xí)依賴(lài)大量標(biāo)注的問(wèn)題，同時(shí)相較于無(wú)監(jiān)督學(xué)習(xí)，其檢測(cè)精度更高。

目前尚沒(méi)有將半監(jiān)督學(xué)習(xí)和復(fù)雜背景下多目標(biāo)對(duì)象級(jí)自動(dòng)標(biāo)注相結(jié)合的壓雪車(chē)外觀(guān)缺陷檢測(cè)方法。

發(fā)明內(nèi)容

為了解決上述現(xiàn)有技術(shù)的不足，本發(fā)明將復(fù)雜背景下缺陷對(duì)象級(jí)自動(dòng)標(biāo)注與半監(jiān)督學(xué)習(xí)相結(jié)合，在標(biāo)簽樣本較少的情況下，提高多目標(biāo)缺陷定位與識(shí)別的精度。為此建立適當(dāng)?shù)哪Ｐ停瑢?fù)雜背景下多目標(biāo)對(duì)象級(jí)標(biāo)注和半監(jiān)督學(xué)習(xí)相結(jié)合，共同檢測(cè)壓雪車(chē)外觀(guān)缺陷，提高缺陷檢測(cè)的準(zhǔn)確度。

本專(zhuān)利的檢測(cè)系統(tǒng)主要包含圖像采集，缺陷檢測(cè)，檢測(cè)結(jié)果生成三個(gè)部分。其中，圖像采集使用工業(yè)相機(jī)對(duì)壓雪車(chē)外觀(guān)隨意拍攝，不限制距離以及角度，但需確保待檢測(cè)區(qū)域占據(jù)圖像像素80％以上。缺陷檢測(cè)部分包含多維圖像分割算法、半監(jiān)督分類(lèi)優(yōu)化模型、融合算法三個(gè)模塊，多維缺陷分割算法從多個(gè)維度提取可能存在缺陷的區(qū)域，提高多目標(biāo)缺陷的檢出率；基于半監(jiān)督方法構(gòu)建了缺陷識(shí)別網(wǎng)絡(luò)的優(yōu)化模型，采用偽標(biāo)簽機(jī)制防止因輸入錯(cuò)誤標(biāo)簽而導(dǎo)致訓(xùn)練精度下降，結(jié)合基于特征距離聚類(lèi)的標(biāo)記模型，提高了識(shí)別網(wǎng)絡(luò)的分類(lèi)精度；基于準(zhǔn)確的分類(lèi)結(jié)果，融合算法對(duì)帶標(biāo)簽圖像塊進(jìn)行篩選融合，提高定位精度。檢測(cè)結(jié)果生成共有兩部分內(nèi)容，一是通過(guò)數(shù)據(jù)線(xiàn)直接回傳，以單張圖像為單位；另一種方式是終端保存，直至該檢測(cè)任務(wù)全部完成，以單個(gè)任務(wù)為單位，并生成檢測(cè)報(bào)告。

具體地，本發(fā)明提出一種復(fù)雜背景下基于視覺(jué)的壓雪車(chē)外觀(guān)缺陷檢測(cè)方法，其包括以下步驟：

S1：利用移動(dòng)終端通過(guò)隨意拍攝的方式采集目標(biāo)物體待檢測(cè)區(qū)域圖像，將圖像信息傳輸?shù)缴衔粰C(jī)；

S2：上位機(jī)接收?qǐng)D像信息，并對(duì)圖像進(jìn)行缺陷檢測(cè)，其包括以下步驟：

S21：多維圖像分割算法從梯度、閾值和區(qū)域三個(gè)方向構(gòu)建三個(gè)維度的特征圖，對(duì)特征圖經(jīng)過(guò)形態(tài)學(xué)處理、輪廓提取和面積篩選后，生成基于各維度特征圖的缺陷候選區(qū)域，保留區(qū)域圖像塊及其位置信息，獲取缺陷候選區(qū)域；