[發(fā)明專利]基于深度學習的高密度柔性基板外觀缺陷檢測系統(tǒng)與方法

在審

• 申請?zhí)枺?/td>: 201810859190.0
• 申請日: 2018-07-31
• 公開（公告）號: CN109142371A
• 公開（公告）日: 2019-01-04
• 發(fā)明（設計）人: 羅家祥;吳冬冬;胡躍明
• 申請（專利權(quán)）人: 華南理工大學
• 主分類號: G01N21/88
• 分類號: G01N21/88
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

1.一種基于深度學習的高密度柔性基板外觀缺陷檢測系統(tǒng)，其特征在于，包括硬件平臺和軟件檢測平臺；硬件平臺包括兩部分，第一部分是精密載物控制平臺，精密載物控制平臺包括：

⑴載物臺，采用了真空吸附載物臺裝置，使被檢測的柔性基板牢固地貼附于載物臺上；

⑵電機及驅(qū)動裝置，用于驅(qū)動載物臺的運動；

⑶運動控制板卡，用于傳遞工業(yè)計算機上傳出來的控制信號，將信號轉(zhuǎn)換后傳給電機及驅(qū)動裝置，控制載物臺；

第二部分是圖像采集平臺，圖像采集平臺包括：

⑴同軸鹵素燈光源，用于對柔性基板提供高亮度和均勻的照明；

⑵CCD攝像機，用于拍攝FICS圖像；

⑶千兆網(wǎng)卡，用于傳輸數(shù)據(jù)；

⑷自動變焦的光學顯微鏡，用于將載物臺上的柔性基板待檢測部分進行放大。

2.根據(jù)權(quán)利要求1所述的一種基于深度學習的高密度柔性基板外觀缺陷檢測系統(tǒng)，其特征在于，軟件檢測平臺包括3部分：

⑴用戶操作界面單元，用于硬件平臺參數(shù)設定、實施檢測操作；

⑵深度學習缺陷定位與識別單元，用于基于深度學習的檢測模型的訓練與圖像外觀缺陷的快速檢測；

⑶數(shù)據(jù)庫操作單元，用于圖像的存儲和檢測數(shù)據(jù)的管理。

3.用于權(quán)利要求1或2所述一種基于深度學習的高密度柔性基板外觀缺陷檢測系統(tǒng)的檢測方法，其特征在于，包括模型訓練和缺陷檢測過程兩個部分，

模型訓練分為包括：

S1：收集適量帶有不同外觀缺陷的FICS圖像；

S2：將收集圖像的尺寸統(tǒng)一為448×448的標準尺寸；

S3：人工標記出每張圖像中的缺陷位置和類別，將標記好的圖像作為下一步Y(jié)OLO卷積神經(jīng)網(wǎng)絡的訓練樣本；

S4：以標記好的訓練樣本圖像作為模型輸入，以缺陷的位置與類型信息作為模型輸出，對基于改進YOLO卷積神經(jīng)網(wǎng)絡的檢測模型即所述基于深度學習的檢測模型進訓練，得到用于FICS圖像外觀缺陷的定位與類型識別的深度學習模型；

缺陷檢測過程包括：

S1：將待檢測的FICS放在真空吸附載物臺上，用CCD攝像機采集FICS圖像；

S2：將采集到的FICS圖像統(tǒng)一為標準尺寸448×448；

S3：將FICS圖像輸入已經(jīng)訓練好的基于改進YOLO卷積神經(jīng)網(wǎng)絡的檢測模型，輸出是否有缺陷、缺陷位置與類型信息，并將信息保存到數(shù)據(jù)庫中；

S4：回到步驟S2，對下一張圖像進行檢測，直到檢測結(jié)束。

4.根據(jù)權(quán)利要求3所述的檢測方法，其特征在于：模型訓練的步驟S4中，每一張訓練圖像分為S×S個網(wǎng)格，每一個網(wǎng)格產(chǎn)生B個預測的可能包含缺陷的矩形框，每一張訓練圖像上缺陷的位置由5個參數(shù)組成，分別為x,y,w,h,P，其中x與y是矩形框的中心相對于負責該缺陷的網(wǎng)格左上角的位置偏移量，w與h是矩形框的長和寬，P是指矩形框中含有缺陷的置信度。

5.根據(jù)權(quán)利要求3所述的檢測方法，其特征在于，模型訓練的步驟S4中，所建立的用于FICS圖像外觀缺陷的定位與類型識別的深度學習模型是基于改進YOLO卷積神經(jīng)網(wǎng)絡的檢測模型；該模型包括了24個卷積層和2個全連接層，同時采用了如下?lián)p失函數(shù)訓練模型：

其中，S×S表示每張訓練圖像被分成S×S個網(wǎng)格；B表示每一個網(wǎng)格預測的可能包含缺陷的矩形框個數(shù)；表示第i個網(wǎng)格中的第j個矩形框是否負責本網(wǎng)格中的缺陷預測，表示缺陷是否存在于第i個網(wǎng)格中；λ_coord為矩形框的w,h,x,y四個參數(shù)的損失權(quán)重；λ_noobj為不負責的矩形框所預測缺陷的類別損失權(quán)重；x_i和y_i、和分別表示人工標注的缺陷矩形框和模型預測的矩形框的左上角對于第i個網(wǎng)格中心在兩個方向上的偏移量；w_i和h_i、和分別表示第i個網(wǎng)格中人工標注的缺陷矩形框和模型預測的矩形框的寬與高，C_i和分別表示第i個網(wǎng)格中人工標注的缺陷類別和模型預測的類別；p_i(c)和表示第i個網(wǎng)格中人工標注的和模型預測的缺陷類別為c的概率。