[發(fā)明專(zhuān)利]一種基于深度學(xué)習(xí)的光伏電池片智能缺陷檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211091285.5
• 申請(qǐng)日: 2022-09-07
• 公開(kāi)（公告）號(hào): CN116258664A
• 公開(kāi)（公告）日: 2023-06-13
• 發(fā)明（設(shè)計(jì)）人: 孫晨;鄧寬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 鹽城工學(xué)院
• 主分類(lèi)號(hào): G06T7/00
• 分類(lèi)號(hào): G06T7/00;G06V10/80;G06V10/764;G06N3/0464;G06N3/08
• 代理公司: 湖北唯邁知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 42314
• 代理人: 王繼云

1.一種基于深度學(xué)習(xí)的光伏電池片智能缺陷檢測(cè)方法，主要包括如下步驟：

1)自建光伏電池片EL圖像數(shù)據(jù)集PV_Datasets；

2)對(duì)步驟1)所述數(shù)據(jù)集分別進(jìn)行缺陷分類(lèi)及標(biāo)注；

3)對(duì)光伏電池片EL圖像導(dǎo)入網(wǎng)絡(luò)模型，進(jìn)行模型訓(xùn)練，用于完成具體缺陷信息的判別，

3.1)該網(wǎng)絡(luò)以FasterRCNN目標(biāo)檢測(cè)算法作為框架，并選用改進(jìn)型的Resnet101作為網(wǎng)絡(luò)主干，替換原始網(wǎng)絡(luò)模型的VGG16網(wǎng)絡(luò)，增加了網(wǎng)絡(luò)層數(shù)，提升網(wǎng)絡(luò)的特征提取能力；

3.2)并在主干網(wǎng)絡(luò)中融入特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)(FPN)，進(jìn)一步提高網(wǎng)絡(luò)對(duì)多尺度缺陷的特征表達(dá)能力；

3.3)加入雙通道注意力機(jī)制模塊DCAM(Dual-channel?Attention?MechanismModule)，通過(guò)網(wǎng)絡(luò)對(duì)輸入特征圖賦不同的權(quán)重值，聚焦于特征圖的重要特征信息，抑制不必要的區(qū)域響應(yīng)，進(jìn)一步增強(qiáng)網(wǎng)絡(luò)的特征表示能力，同時(shí)降低一些不必要的計(jì)算。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的光伏電池片智能缺陷檢測(cè)方法，其特征在于，所述步驟1)中自建數(shù)據(jù)集PV_Datasets包括以下步驟：根據(jù)光伏電池片電致發(fā)光(electroluminescence,EL)成像原理，利用近紅外相機(jī)采集光伏電池片組件EL的圖像；對(duì)圖像進(jìn)行預(yù)處理，提取光伏電池組件邊緣，裁剪多余信息，并按單個(gè)電池片尺寸，將組件EL圖像分割成多張光伏電池片EL圖像，這些光伏電池片EL圖像經(jīng)分類(lèi)標(biāo)注完成數(shù)據(jù)集構(gòu)建。

3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的光伏電池片智能缺陷檢測(cè)方法，其特征在于，所述步驟2中)：

對(duì)圖像中存在缺陷進(jìn)行分類(lèi)，可大致分為：斷柵、劃痕、虛焊、隱裂、黑心團(tuán)、短路、裂紋以及破片，將圖像利用LabelImg標(biāo)注軟件，使用矩形框圈注圖像中的缺陷信息，并制作成VOC格式的數(shù)據(jù)集。

4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的光伏電池片智能缺陷檢測(cè)方法，其特征在于，所述步驟3中)：Faster?R-CNN是在Fast?R-CNN網(wǎng)絡(luò)的基礎(chǔ)上加入了區(qū)域生成網(wǎng)絡(luò)，取代了傳統(tǒng)的SS(Selective?Search)方法，使候選框的提取速度和精度有明顯的提升。

5.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的光伏電池片智能缺陷檢測(cè)方法，其特征在于，所述步驟3.1中)：選用殘差網(wǎng)絡(luò)ResNet101代替原始模型中的VGG16特征提取網(wǎng)絡(luò)，增加了網(wǎng)絡(luò)層數(shù)，同時(shí)也有效避免了因網(wǎng)絡(luò)深度的增加而出現(xiàn)的梯度消失以及過(guò)擬合的情況，

輸入的圖像通過(guò)一系列卷積生成公共特征圖，然后經(jīng)由RPN網(wǎng)絡(luò)生成區(qū)域建議框，并映射至特征圖上獲取對(duì)應(yīng)的特征矩陣，再通過(guò)感興趣區(qū)域池化將特征圖縮放為統(tǒng)一尺寸,經(jīng)過(guò)全連接層后，同時(shí)輸出給分類(lèi)層和邊框回歸層，前者用來(lái)判定建議框內(nèi)前景及背景信息，后者用來(lái)預(yù)測(cè)建議框尺寸和坐標(biāo)信息。

6.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的光伏電池片智能缺陷檢測(cè)方法，其特征在于，所述步驟3.2中)：在特征提取網(wǎng)絡(luò)中融入特征金字塔結(jié)構(gòu)(FPN)，包括橫向連接、自頂向下和自底向上三個(gè)部分組成，

自底向上為ResNet101進(jìn)行的前饋計(jì)算的過(guò)程，進(jìn)行傳統(tǒng)的特征提取，輸出大小一致的網(wǎng)絡(luò)部分稱(chēng)為一級(jí)(stage)，選擇每個(gè)stage的最后一層特征圖，作為上一級(jí)的輸入，為自頂向下過(guò)程，從最高層向下依次使用最近鄰2倍上采樣，特征圖將擴(kuò)大2倍，在通過(guò)橫向連接，進(jìn)行特征融合后輸出特征圖。

7.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的光伏電池片智能缺陷檢測(cè)方法，其特征在于，所述步驟3.3中)：DCMA模塊主要包括通道注意力模塊和空間注意力模塊兩部分：前者關(guān)注于全局信息，圖像經(jīng)過(guò)卷積后生成多通道的特征圖，通道注意力模塊能完成多通道的差異化處理，增大有效特征通道的權(quán)重，降低無(wú)效特征通道權(quán)重，進(jìn)而重點(diǎn)突出圖像中的重要特征信息；后者主要對(duì)特征圖空間信息建模來(lái)獲取空間中各個(gè)像素的相關(guān)性，可以提高特征圖對(duì)目標(biāo)信息的關(guān)注程度，更容易找到目標(biāo)所在位置，將通道與空間注意力兩模塊并聯(lián)，組成雙通道，將兩特征圖相加得到最終的特征圖。