[發明專利]一種基于多光譜深度卷積神經網絡的視覺缺陷檢測方法

有效

• 申請號: 201811298806.8
• 申請日: 2018-11-02
• 公開（公告）號: CN109447977B
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 陳海永;劉聰;劉佳麗;胡啟迪;張澤智;王霜
• 申請（專利權）人: 河北工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰

1.一種基于多光譜深度卷積神經網絡的視覺缺陷檢測方法，該方法用于光伏電池片外觀缺陷檢測，包括下述步驟：

第一步，缺陷特征分析與數據集：

1-1圖像獲取：利用彩色相機采集圖像，去除背景后獲得彩色圖片，該彩色圖片作為原始數據集；

1-2特征分析：分析觀察太陽能表面缺陷在不同光譜中的特征，得到崩邊、粗線、斷柵、劃痕、漏漿、色差、臟片表面缺陷特征圖；

1-3圖像切割：在步驟1-2的基礎上，利用滑動分割法將步驟1-1的原始數據集分割成小圖片，該小圖片作為目標圖像；

1-4訓練樣本集、驗證樣本集、測試樣本集制作：對步驟1-3獲得的目標圖像進行人工分選，并添加標簽，得到數據集，從數據集中隨機抽取20％作為測試樣本集，其余作為訓練樣本集、驗證樣本集，其中訓練樣本集與驗證樣本集的比例為4:1；

第二步，多光譜神經網絡模型搭建：

2-1信息分離：將數據集圖片縮放，其次將數據集的彩色圖像的紅、綠、藍三通道光譜信息進行分離，最后并列輸入到多光譜神經網絡模型的多光譜第一層中；

2-2多光譜特征提取層設計：多光譜神經網絡模型的多光譜特征提取層共有并列的三個，每一個均包括多光譜第一層、多光譜第二層、多光譜第三層：將步驟2-1分離后的三通道光譜信息并列輸入到多光譜第一層中，多光譜第一層包括一個卷積層和一個最大池化層，步驟2-1的輸出為多光譜第一層的輸入，輸入數據分別經過一個卷積層和一個最大池化層，得到輸出結果；

多光譜第二層包括兩個卷積層和一個最大池化層，多光譜第一層的輸出作為多光譜第二層的輸入，連續經過兩個卷積層和一個最大池化層，得到輸出結果；

多光譜第三層包括兩個卷積層和一個最大池化層：經過多光譜第三層中的卷積層和最大池化層輸出特征結果Layer3_B、Layer3_R和Layer3_G；

把這三個特征結果合并，得到合并輸出結果特征；

2-3全連接層設計：將上述合并輸出結果特征，作為本層的輸入，經過標準化計算后，輸入人工全連接神經網絡層，得到輸出結果；

2-4將步驟2-3的輸出結果輸入Dropout層，并通過Softmax分類器進行分類，至此完成多光譜神經網絡模型的搭建；

第三步，圖像分類及評估：

3-1開始訓練：初始化權重，將步驟1-4制作的測試樣本集、訓練樣本集、驗證樣本集輸入到第二步的多光譜神經網絡模型中，完成多光譜神經網絡模型的訓練，獲得圖像的多維特征圖，得到光伏電池圖像多維輸出特征值矩陣；

3-2K交叉驗證：將步驟1-4制作的數據集分割為5個子樣本，保留單獨一個子樣本作為測試集，另外的4個樣本作為訓練集，再輸入到訓練后的多光譜神經網絡模型中，實驗進行5次，取五次的平均值作為最終的試驗結果。

2.根據權利要求1所述的基于多光譜深度卷積神經網絡的視覺缺陷檢測方法，其特征在于，所述原始數據集的圖片大小為1868×1868；小圖片尺寸為469*469；數據集圖片縮放后的尺寸為256×256×3。

3.根據權利要求1所述的基于多光譜深度卷積神經網絡的視覺缺陷檢測方法，其特征在于，人工全連接神經網絡層的深度為2，寬度為256。

4.根據權利要求1所述的基于多光譜深度卷積神經網絡的視覺缺陷檢測方法，其特征在于，在訓練過程中權重會不斷優化，多光譜神經網絡模型利用輸出與標簽之間的差值來反向控制網絡權重的變化，利用隨機梯度下降來求解多光譜神經網絡模型反向傳播的最優值。