[發(fā)明專利]一種無人機(jī)巡檢圖像缺陷檢測(cè)方法、系統(tǒng)及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010760615.X
• 申請(qǐng)日: 2020-07-31
• 公開（公告）號(hào): CN111860439A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 翟瑞聰;彭熾剛;陳浩;李雄剛;劉高;饒成成;郭錦超;王年孝
• 申請(qǐng)（專利權(quán)）人: 廣東電網(wǎng)有限責(zé)任公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/32;G06T7/00;G06N3/04
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 沈闖

本發(fā)明公開了一種無人機(jī)巡檢圖像缺陷檢測(cè)方法、系統(tǒng)及設(shè)備，本發(fā)明通過對(duì)無人機(jī)巡檢缺陷圖像的缺陷特征進(jìn)行提取，基于RPN網(wǎng)絡(luò)獲取目標(biāo)區(qū)域，從而篩選出質(zhì)量高、數(shù)量少的目標(biāo)區(qū)域，提高了缺陷檢測(cè)的效率，基于非極大值抑制方法對(duì)從目標(biāo)候選框中提取出感興趣區(qū)域，改善Faster RCNN網(wǎng)絡(luò)在邊緣處理上的不足，提高缺陷檢測(cè)的精度；之后分別對(duì)Faster RCNN網(wǎng)絡(luò)和RPN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并在共享初始Faster RCNN網(wǎng)絡(luò)和初始RPN網(wǎng)絡(luò)的卷積層的基礎(chǔ)上構(gòu)建統(tǒng)一網(wǎng)絡(luò)，基于統(tǒng)一網(wǎng)絡(luò)對(duì)無人機(jī)巡檢圖像的缺陷進(jìn)行檢測(cè)，通過共享卷積層大幅度提升了缺陷檢測(cè)的速度，提升缺陷檢測(cè)的效率，解決了現(xiàn)有技術(shù)對(duì)無人機(jī)巡檢圖像中的圖像缺陷檢測(cè)方法，存在著缺陷檢測(cè)準(zhǔn)確率以及檢測(cè)效率過低的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像檢測(cè)領(lǐng)域，尤其涉及一種無人機(jī)巡檢圖像缺陷檢測(cè)方法、系統(tǒng)及設(shè)備。

背景技術(shù)

近年來，隨著無人機(jī)技術(shù)的發(fā)展，無人機(jī)的應(yīng)用越來越普及。將無人機(jī)用于巡檢，具有成本低、作業(yè)靈活的特點(diǎn)，改善了傳統(tǒng)的人工巡檢效率低、勞動(dòng)強(qiáng)度大的缺點(diǎn)。無人機(jī)在巡檢過程中所獲得的圖像的清晰度和可識(shí)別度影響著人們對(duì)巡檢目標(biāo)的判斷。在對(duì)機(jī)巡圖像的處理中，圖像缺陷識(shí)別是其中的關(guān)鍵所在。為了提高圖像缺陷識(shí)別精度，研究者們提出了多種圖像缺陷識(shí)別算法。然而，目前的機(jī)巡圖像缺陷識(shí)別算法存在圖像識(shí)別精度不夠高的缺點(diǎn)。近年來，區(qū)域卷積神經(jīng)網(wǎng)絡(luò)FasterRCNN因其可以實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)，且可以避免特征重復(fù)計(jì)算，且使區(qū)域+分類/回歸檢測(cè)實(shí)時(shí)性的特點(diǎn)，逐漸被應(yīng)用于圖像缺陷識(shí)別中，但該算法因需要對(duì)每個(gè)目標(biāo)區(qū)域分類計(jì)算，導(dǎo)致計(jì)算效率低等問題。

綜上所述，現(xiàn)有技術(shù)中對(duì)無人機(jī)巡檢圖像中的圖像缺陷檢測(cè)方法，存在著缺陷檢測(cè)準(zhǔn)確率以及檢測(cè)效率過低的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明提供了一種無人機(jī)巡檢圖像缺陷檢測(cè)方法、系統(tǒng)及設(shè)備，用于解決現(xiàn)有技術(shù)中對(duì)無人機(jī)巡檢圖像中的圖像缺陷檢測(cè)方法，存在著缺陷檢測(cè)準(zhǔn)確率以及檢測(cè)效率過低的技術(shù)問題。

本發(fā)明提供的一種無人機(jī)巡檢圖像缺陷檢測(cè)方法，包括以下步驟：

獲取無人機(jī)巡檢缺陷圖像；

對(duì)無人機(jī)巡檢缺陷圖像中的圖像缺陷進(jìn)行標(biāo)注，將經(jīng)過標(biāo)注后的無人機(jī)巡檢缺陷圖像作為樣本集；

將樣本集中的無人機(jī)巡檢缺陷圖像輸入到CNN網(wǎng)絡(luò)進(jìn)行缺陷特征的提取，得到與無人機(jī)巡檢缺陷圖像相對(duì)應(yīng)的特征圖；

將特征圖輸入到RPN網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到包含缺陷特征的目標(biāo)區(qū)域以及初始RPN網(wǎng)絡(luò)；

采用非極大值抑制法從目標(biāo)區(qū)域中篩選出感興趣區(qū)域；

將感興趣區(qū)域輸入到FasterRCNN網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到初始FasterRCNN網(wǎng)絡(luò)；

共享初始FasterRCNN網(wǎng)絡(luò)和初始RPN網(wǎng)絡(luò)的卷積層，基于初始FasterRCNN網(wǎng)絡(luò)對(duì)初始RPN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對(duì)初始RPN網(wǎng)絡(luò)獨(dú)有的參數(shù)進(jìn)行更新，得到更新后的RPN網(wǎng)絡(luò)，在卷積層不變的情況下對(duì)初始FasterRCNN網(wǎng)絡(luò)獨(dú)有的參數(shù)進(jìn)行更新，得到由更新后的RPN網(wǎng)絡(luò)和更新后的FasterRCNN網(wǎng)絡(luò)構(gòu)成的統(tǒng)一網(wǎng)絡(luò)；

將實(shí)時(shí)的無人機(jī)巡檢圖像輸入到統(tǒng)一網(wǎng)絡(luò)中，得到無人機(jī)巡檢圖像的缺陷檢測(cè)結(jié)果。

優(yōu)選的，對(duì)無人機(jī)巡檢缺陷圖像中的圖像缺陷進(jìn)行標(biāo)注的具體過程為：

標(biāo)注出無人機(jī)巡檢缺陷圖像中圖像缺陷的類別以及圖像缺陷的實(shí)際目標(biāo)區(qū)域。

優(yōu)選的，將特征圖輸入到RPN網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到包含缺陷特征的目標(biāo)區(qū)域的具體過程為：

使用RPN網(wǎng)絡(luò)的卷積核與特征圖進(jìn)行卷積，得到候選區(qū)域；

使用RPN網(wǎng)絡(luò)的卷積核與候選區(qū)域進(jìn)行卷積，得到N個(gè)目標(biāo)區(qū)域。