[發明專利]基于機器視覺的段碼液晶屏缺陷檢測方法

在審

• 申請號: 202110617867.1
• 申請日: 2021-06-01
• 公開（公告）號: CN113344872A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 費敏銳;孫暉;周文舉;周陽
• 申請（專利權）人: 上海大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/194;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 顧勇華

1.一種基于機器視覺的段碼液晶屏缺陷檢測方法，其特征在于，包括以下操作步驟：

(1)在服務器端建立缺陷檢測網絡模型；

(2)采集段碼液晶屏的表面圖像信息；

(3)將所述表面圖像信息的主體圖像分割出來作為圖像樣本；

(4)對段碼液晶屏圖像樣本進行數據擴充；

(5)對段碼液晶屏圖像樣本上的缺陷使用專用軟件進行人工標注，并打包成標準數據集樣本；

(6)將所述標準數據集樣本上傳到云端服務器中，對缺陷檢測網絡模型進行訓練；

(7)將訓練好的缺陷檢測網絡模型部署到生產線上，進行測試驗證；人工判斷檢測結果正確率是否達到標準要求，若檢測結果正確率達不到標準要求，則修改缺陷檢測網絡模型重新進行訓練；

(8)采用缺陷檢測網絡模型對斷碼液晶屏進行缺陷檢測。

2.根據權利要求1所述的基于機器視覺的段碼液晶屏缺陷檢測方法，其特征在于，在所述步驟(3)中，采用圖像分割方法，將采集的段碼液晶屏表面圖像的主體圖像與背景圖像分割出來，并將分割出來的主體圖像作為圖像樣本。

3.根據權利要求1所述的基于機器視覺的段碼液晶屏缺陷檢測方法，其特征在于，在所述步驟(4)中，對段碼液晶屏圖像樣本進行數據擴充的方法為：

將圖像樣本中的圖像分別進行翻轉、旋轉、縮放比例、裁剪、移位，增加圖像樣本中的圖像數量，所述圖像樣本包括無缺陷樣本和有缺陷樣本。

4.根據權利要求1所述的基于機器視覺的段碼液晶屏缺陷檢測方法，其特征在于，在所述步驟(5)和所述步驟(6)中，對訓練缺陷檢測網絡模型的數據進行訓練集和驗證集的劃分，其步驟如下：

(4-1)將標準數據集樣本劃分為K個不相交的子集，相應子集表示為{C₁，C₂，……C_k}；

(4-2)開始進行一輪訓練缺陷檢測網絡模型，每輪訓練從步驟(4-1)中所述子集里選出一個子集作為驗證集，其余K-1個子集作為訓練集，得到缺陷檢測網絡模型在所選驗證集上的分類正確率；

(4-3)重復K次所屬步驟(4-2)中的過程，計算K次分類準確率的平均值，作為模型的真實分類準確率。

5.根據權利要求1所述的基于機器視覺的段碼液晶屏缺陷檢測方法，其特征在于，在所述步驟(1)中的缺陷檢測網絡模型包括特征提取層，區域建議層、缺陷檢測層，所述特征提取層采用多種卷積網絡模型。

6.根據權利要求5所述的基于機器視覺的段碼液晶屏缺陷檢測方法，其特征在于，在所述步驟(6)中，在進行缺陷檢測網絡模型訓練時，首先訓練特征提取層，快速生成大小不一的候選框，并判斷框內圖像為主體圖像或背景圖像的概率用于初步提取感興趣區域，最后訓練缺陷檢測層，在圖像上框選出缺陷位置，并標注缺陷種類。

7.根據權利要求6所述的基于機器視覺的段碼液晶屏缺陷檢測方法，其特征在于，所述特征提取層是一種編碼解碼結構的卷積網絡。

8.根據權利要求1所述的基于機器視覺的段碼液晶屏缺陷檢測方法，其特征在于，在所述步驟(8)中，采用缺陷檢測網絡模型對段碼液晶屏進行缺陷檢測，包括以下步驟：

(8-1)采集待檢測段碼液晶屏的表面圖像信息；

(8-2)對所述圖像表面信息中的主體圖像和背景圖像進行分割，提取出主體圖像；

(8-3)將所述主體圖像輸入到訓練好的缺陷檢測網絡模型中，得到標有缺陷位置和缺陷種類的圖像信息，并保存所述圖像信息。

9.根據權利要求8所述的基于機器視覺的段碼液晶屏缺陷檢測方法，其特征在于，所述段碼液晶屏的缺陷檢測還包括步驟：根據缺陷檢測網絡模型檢測出來的缺陷種類，將有缺陷的段碼液晶屏進行分類放置。