[發(fā)明專利]深度學(xué)習(xí)在產(chǎn)品外觀瑕疵檢測中的應(yīng)用

在審

• 申請?zhí)枺?/td>: 202010181021.3
• 申請日: 2020-03-16
• 公開（公告）號: CN111340798A
• 公開（公告）日: 2020-06-26
• 發(fā)明（設(shè)計(jì)）人: 董海波
• 申請（專利權(quán)）人: 浙江一木智能科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G01N21/88;G01N21/956;G06N3/04;G06N3/08;G06T7/11
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.深度學(xué)習(xí)在產(chǎn)品外觀瑕疵檢測中的應(yīng)用，包括硬件平臺(tái)、軟件檢測平臺(tái)、數(shù)據(jù)標(biāo)注模塊、圖像分區(qū)模塊、數(shù)據(jù)增強(qiáng)模塊、網(wǎng)絡(luò)訓(xùn)練模塊、并行檢測模塊和瑕疵分割模塊，其特征在于，硬件平臺(tái)包括精密載物控制平臺(tái)和圖像采集平臺(tái)；數(shù)據(jù)標(biāo)注模塊用于標(biāo)注出瑕疵類型、位置以及像素點(diǎn)；圖像分區(qū)模塊用于將大圖像分割成小圖像；數(shù)據(jù)增強(qiáng)模塊用于實(shí)現(xiàn)數(shù)據(jù)集的擴(kuò)充；并行檢測模塊采用多線程方式，既可以選擇處理同一張圖像進(jìn)行精度的提升，也可以處理不同圖像實(shí)現(xiàn)檢測加速；瑕疵分割模塊用于獲取瑕疵的具體形狀。

2.根據(jù)權(quán)利要求1所述的深度學(xué)習(xí)在產(chǎn)品外觀瑕疵檢測中的應(yīng)用，其特征在于，所述精密載物控制平臺(tái)包括載物臺(tái)，采用了真空吸附載物臺(tái)裝置，使被檢測的柔性基板牢固地貼附于載物臺(tái)上；電機(jī)及驅(qū)動(dòng)裝置用于驅(qū)動(dòng)載物臺(tái)的運(yùn)動(dòng)；運(yùn)動(dòng)控制板卡用于傳遞工業(yè)計(jì)算機(jī)上軟件檢測系統(tǒng)傳出來的控制信號，將信號轉(zhuǎn)換后傳給電機(jī)及驅(qū)動(dòng)裝置，控制載物臺(tái)。

3.根據(jù)權(quán)利要求1所述的深度學(xué)習(xí)在產(chǎn)品外觀瑕疵檢測中的應(yīng)用，其特征在于，所述圖像采集平臺(tái)包括同軸鹵素?zé)艄庠矗糜趯θ嵝曰逄峁└吡炼群途鶆虻恼彰鳎幌鄼C(jī)用于拍攝FICS圖像；千兆網(wǎng)卡用于傳輸數(shù)據(jù)；自動(dòng)變焦的光學(xué)顯微鏡用于將載物臺(tái)上的柔性基板待檢測部分進(jìn)行放大，使系統(tǒng)能清晰地拍攝到微小缺陷。

4.根據(jù)權(quán)利要求1所述的深度學(xué)習(xí)在產(chǎn)品外觀瑕疵檢測中的應(yīng)用，其特征在于，所述軟件檢測平臺(tái)包括用于硬件平臺(tái)參數(shù)設(shè)定、實(shí)施檢測操作的用戶操作界面單元，用于深度學(xué)習(xí)的檢測模型的訓(xùn)練與圖像外觀缺陷的快速檢測的深度學(xué)習(xí)缺陷定位與識(shí)別單元，用于圖像的存儲(chǔ)和檢測數(shù)據(jù)的管理的數(shù)據(jù)庫操作單元。

5.根據(jù)權(quán)利要求4所述的深度學(xué)習(xí)在產(chǎn)品外觀瑕疵檢測中的應(yīng)用，其特征在于，所述深度學(xué)習(xí)的檢測模型的訓(xùn)練具體包括如下步驟：

S1：收集大量帶有不同外觀缺陷的FICS圖像；

S2：將收集圖像的尺寸統(tǒng)一為448×448的標(biāo)準(zhǔn)尺寸；

S3：人工標(biāo)記出每張圖像中的缺陷位置和類別，將標(biāo)記好的圖像作為下一步Y(jié)OLO卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本；

S4：以標(biāo)記好的訓(xùn)練樣本圖像作為模型輸入，以缺陷的位置與類型信息作為模型輸出，對基于改進(jìn)YOLO卷積神經(jīng)網(wǎng)絡(luò)的檢測模型進(jìn)訓(xùn)練，得到用于FICS圖像外觀缺陷的定位與類型識(shí)別的深度學(xué)習(xí)模型。

6.根據(jù)權(quán)利要求5所述的深度學(xué)習(xí)在產(chǎn)品外觀瑕疵檢測中的應(yīng)用，其特征在于，所述圖像外觀缺陷的快速檢測具體包括如下步驟：

S11：將待檢測的FICS放在真空吸附載物臺(tái)上，用相機(jī)采集FICS圖像；

S12：將采集到的FICS圖像統(tǒng)一為標(biāo)準(zhǔn)尺寸448×448；

S13：將FICS圖像輸入已經(jīng)訓(xùn)練好的改進(jìn)YOLO卷積神經(jīng)網(wǎng)絡(luò)模型，輸出是否有缺陷、缺陷位置與類型信息，并將信息保存到數(shù)據(jù)庫中；

S14：回到步驟S12，對下一張圖像進(jìn)行檢測，直到檢測結(jié)束。

7.根據(jù)權(quán)利要求1所述的深度學(xué)習(xí)在產(chǎn)品外觀瑕疵檢測中的應(yīng)用，其特征在于，所述數(shù)據(jù)標(biāo)注模塊包括位置信息單元和語義信息單元，位置信息單元利用LabelImg工具實(shí)現(xiàn)瑕疵類型及位置的標(biāo)注，語義信息單元利用LabelMe工具實(shí)現(xiàn)逐像素的語義標(biāo)記。

8.根據(jù)權(quán)利要求1所述的深度學(xué)習(xí)在產(chǎn)品外觀瑕疵檢測中的應(yīng)用，其特征在于，所述網(wǎng)絡(luò)訓(xùn)練模塊包括訓(xùn)練單元和驗(yàn)證單元，訓(xùn)練單元根據(jù)所獲得的瑕疵數(shù)據(jù)，進(jìn)行網(wǎng)絡(luò)訓(xùn)練，驗(yàn)證單元用于對網(wǎng)絡(luò)檢測精度進(jìn)行評估。

9.根據(jù)權(quán)利要求6所述的深度學(xué)習(xí)在產(chǎn)品外觀瑕疵檢測中的應(yīng)用，其特征在于，所述S4中每一張訓(xùn)練樣本圖像分為S×S個(gè)網(wǎng)格，每一個(gè)網(wǎng)格產(chǎn)生B個(gè)預(yù)測的包含缺陷的矩形框，每一張訓(xùn)練圖像上缺陷的位置由5個(gè)參數(shù)組成，分別為x，y，w，h，P，其中x與y是矩形框的中心相對于負(fù)責(zé)該缺陷的網(wǎng)格左上角的位置偏移量，w與h是矩形框的長和寬，P是指矩形框中含有缺陷的置信度。