[發明專利]基于卷積神經網絡的光伏玻璃缺陷分類方法及裝置

有效

• 申請號: 201711481653.6
• 申請日: 2017-12-29
• 公開（公告）號: CN108108768B
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 劉燁斌;閆石;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種基于卷積神經網絡的光伏玻璃缺陷分類方法，其特征在于，包括以下步驟：

對多種的缺陷樣本進行多角度變光照的圖像采集，以得到多個圖像；

預處理各圖像并融合多通道信息，生成多通道融合的缺陷樣本圖像；其中，所述融合多通道信息包括：圖像空間上直接拼接，或者選取所述圖像作為R,G,B三個通道拼接；

采用滿足預設條件的卷積神經網絡模型，根據缺陷類別設計特征提取網絡，以構建特征提取卷積神經網絡；

獲取全連接神經網絡的層數及各層神經元個數，構建特征分類網絡；

在最小化交叉熵損失函數的條件下，完成所述卷積神經網絡的訓練；以及

根據輸入的樣本圖像，通過訓練后的所述卷積神經網絡，輸出缺陷類別的預測結果；

其中，所述多角度變光照包括：透射照明和反射照明；其中，明場圖像、直透暗場圖像和低角度暗場圖像通過所述透射照明得到，反射場圖像通過所述反射照明得到；所述透射照明為相機與光源在玻璃的兩側；所述反射照明為光源照射到玻璃上表面反射進入相機成像。

2.根據權利要求1所述的基于卷積神經網絡的光伏玻璃缺陷分類方法，其特征在于，在數據獲取方面，利用不同照明條件下數據聯合進行分類。

3.根據權利要求2所述的基于卷積神經網絡的光伏玻璃缺陷分類方法，其特征在于，在分類算法方面，所述卷積神經網絡的特征提取器初始參數為在大規模數據集上預訓練得到的卷積核。

4.根據權利要求3所述的基于卷積神經網絡的光伏玻璃缺陷分類方法，其特征在于，所述特征提取器包括五層卷積層，第一層卷積層conv1包括96個27×27的核，第二層卷積層conv2包括256個13×13的核，第三層卷積層conv3和第四層卷積層conv4均包括384個13×13的核，第五層卷積層conv5包括256個6×6的核，其中，所述第一層卷積層、第二層卷積層和第五層卷積層后連接3×3池化層，每一層后均連接有一個修正線性單元。

5.根據權利要求1-4任一項所述的基于卷積神經網絡的光伏玻璃缺陷分類方法，在訓練階段，用輸出的各類預測概率矩陣與玻璃缺陷的真實類別標簽onehot編碼向量組成的矩陣的交叉熵作為損失函數：

其中，k為類別，t_k為onehot編碼的真實標簽，y_k為第k類網絡預測的概率。

6.一種基于卷積神經網絡的光伏玻璃缺陷分類裝置，其特征在于，包括：

獲取模塊，用于對多種的缺陷樣本進行多角度變光照的圖像采集，以得到多個圖像；

生成模塊，用于預處理各圖像并融合多通道信息，生成多通道融合的缺陷樣本圖像；其中，所述融合多通道信息包括：圖像空間上直接拼接，或者選取所述圖像作為R,G,B三個通道拼接；

第一構建模塊，用于采用滿足預設條件的卷積神經網絡模型，根據缺陷類別設計特征提取網絡，以構建特征提取卷積神經網絡；

第二構建模塊，用于獲取全連接神經網絡的層數及各層神經元個數，構建特征分類網絡；

訓練模塊，用于在最小化交叉熵損失函數的條件下，完成所述卷積神經網絡的訓練；以及

分類模塊，用于根據輸入的樣本圖像，通過訓練后的所述卷積神經網絡，輸出缺陷類別的預測結果；

其中，所述多角度變光照包括：透射照明和反射照明；其中，明場圖像、直透暗場圖像和低角度暗場圖像通過所述透射照明得到，反射場圖像通過所述反射照明得到；所述透射照明為相機與光源在玻璃的兩側；所述反射照明為光源照射到玻璃上表面反射進入相機成像。

7.根據權利要求6所述的基于卷積神經網絡的光伏玻璃缺陷分類裝置，其特征在于，在數據獲取方面，利用不同照明條件下數據聯合進行分類。

8.根據權利要求7所述的基于卷積神經網絡的光伏玻璃缺陷分類裝置，其特征在于，在分類算法方面，所述卷積神經網絡的特征提取器初始參數為在大規模數據集上預訓練的卷積核。