[發明專利]一種無人機巡檢圖像缺陷檢測方法、系統及設備

在審

• 申請號: 202010760615.X
• 申請日: 2020-07-31
• 公開（公告）號: CN111860439A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 翟瑞聰;彭熾剛;陳浩;李雄剛;劉高;饒成成;郭錦超;王年孝
• 申請（專利權）人: 廣東電網有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06T7/00;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 沈闖

1.一種無人機巡檢圖像缺陷檢測方法，其特征在于，包括以下步驟：

獲取無人機巡檢缺陷圖像；

對無人機巡檢缺陷圖像中的圖像缺陷進行標注，將經過標注后的無人機巡檢缺陷圖像作為樣本集；

將樣本集中的無人機巡檢缺陷圖像輸入到CNN網絡進行缺陷特征的提取，得到與無人機巡檢缺陷圖像相對應的特征圖；

將特征圖輸入到RPN網絡中進行訓練，得到包含缺陷特征的目標區域以及初始RPN網絡；

采用非極大值抑制法從目標區域中篩選出感興趣區域；

將感興趣區域輸入到Faster RCNN網絡中進行訓練，得到初始Faster RCNN網絡；

共享初始Faster RCNN網絡和初始RPN網絡的卷積層，基于初始Faster RCNN網絡對初始RPN網絡進行訓練，對初始RPN網絡獨有的參數進行更新，得到更新后的RPN網絡，在卷積層不變的情況下對初始Faster RCNN網絡獨有的參數進行更新，得到由更新后的RPN網絡和更新后的Faster RCNN網絡構成的統一網絡；

將實時的無人機巡檢圖像輸入到統一網絡中，得到無人機巡檢圖像的缺陷檢測結果。

2.根據權利要求1所述的一種無人機巡檢圖像缺陷檢測方法，其特征在于，對無人機巡檢缺陷圖像中的圖像缺陷進行標注的具體過程為：

標注出無人機巡檢缺陷圖像中圖像缺陷的類別以及圖像缺陷的實際目標區域。

3.根據權利要求2所述的一種無人機巡檢圖像缺陷檢測方法，其特征在于，將特征圖輸入到RPN網絡中進行訓練，得到包含缺陷特征的目標區域的具體過程為：

使用RPN網絡的卷積核與特征圖進行卷積，得到候選區域；

使用RPN網絡的卷積核與候選區域進行卷積，得到N個目標區域。

4.根據權利要求3所述的一種無人機巡檢圖像缺陷檢測方法，其特征在于，對于一個長寬比為W*H的特征圖，RNP網絡輸出W*H*3*3個目標區域。

5.根據權利要求4所述的一種無人機巡檢圖像缺陷檢測方法，其特征在于，采用非極大值抑制法從目標區域中篩選出感興趣區域的具體過程為：

計算無人機巡檢缺陷圖像邊緣像素點的梯度；

計算無人機巡檢缺陷圖像的梯度幅值；

根據無人機巡檢缺陷圖像邊緣像素點的梯度以及無人機巡檢缺陷圖像的梯度幅值計算邊緣像素點的最大梯度差；

根據邊緣像素點的最大梯度差尋找出局部梯度差最大的邊緣像素點；

在梯度方向上，將局部梯度差最大的邊緣像素點之外的其他像素點的梯度值抑制為0，從而縮小目標區域的范圍，得到感興趣區域。

6.根據權利要求1所述的一種無人機巡檢圖像缺陷檢測方法，其特征在于，FasterRCNN網絡中包括有ROI池化層。

7.根據權利要求6所述的一種無人機巡檢圖像缺陷檢測方法，其特征在于，將感興趣區域輸入到Faster RCNN網絡進行訓練的具體過程為：

將感興趣區域輸入到Faster RCNN網絡的ROI池化層中；

通過ROI池化層篩選出感興趣區域中的正樣本以及負樣本；

將正樣本以及負樣本傳輸到全連接層中進行類別分類和位置邊框回歸；

計算進行類別分類的分類損失以及進行位置邊框回歸的回歸損失；

根據分類損失以及回歸損失計算的無人機巡檢缺陷圖像損失率；

根據損失率判斷Faster RCNN網絡的訓練效果。

8.根據權利要求7所述的一種無人機巡檢圖像缺陷檢測方法，其特征在于，篩選出候選區域中的正樣本以及負樣本的具體過程為：

若感興趣區域與標注的實際目標區域的重疊比例大于0.7，則該感興趣區域為正樣本，若感興趣區域與標注的實際目標區域的重疊比例小于0.3，則該感興趣區域為負樣本。