[發明專利]基于Faster_RCNN的無人機熱紅外圖像堤壩險情檢測方法

有效

• 申請號: 202110682705.6
• 申請日: 2021-06-21
• 公開（公告）號: CN113139528B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 許小華;葉發茂;張秀平;黃萍;高江林;周信文
• 申請（專利權）人: 江西省水利科學院;東華理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南昌豐擇知識產權代理事務所(普通合伙) 36137
• 代理人: 張榮

1.基于Faster_RCNN的熱紅外圖像堤壩險情檢測方法，其特征在于，步驟如下：

S1、圖像數據收集：使用圖像收集模塊用于采集堤防無人機巡檢取得的圖像數據，包含有險情以及無險情的熱紅外圖像；

S2、基礎特征提取：使用特征提取模塊將圖像數據進行基本的分類和篩選，剔除無效熱紅外圖像；

S3、圖像處理：利用圖像處理模塊對于熱紅外圖像進行識別和標注，確定訓練集與測試集；

S4、 Faster_RCNN訓練：先將圖像數據保存，然后利用卷積神經網絡提取輸入的熱紅外圖像的特征，此時將保存的圖像數據與卷積神經網絡提取后的數據進行擬合，然后將數據通過候選區域算法生成對于滲漏檢測的建議框，再將建議框與擬合后的數據相結合，構建Faster_RCNN模型并利用Faster_RCNN模型對圖像數據集進行訓練；利用Faster_RCNN模型對圖像數據集進行訓練的具體過程如下：

a. 用卷積神經網絡提取輸入熱紅外圖像的特征，針對小目標特征，feature map的卷積神經網絡由13個卷積層，13個relu層和2個pooling層，通過該卷積神經網絡進行訓練，得到feature map；

b將圖像的RGB顏色信息作為feature map與上一步得到的feature map跨接，得到融合RGB信息的feature map，增加RGB特征層的權重；

c. 通過RPN網絡從包含融合RGB信息的feature map得到建議框的ROIs，并對ROIs進行2分類，判別建議框內容是前景還是背景，留下前景建議框；

d.將建議框ROIs的feature map池化得到與融合RGB信息的feature map 相同尺寸的feature map，并將其與融合RGB信息的feature map合并，再送入分類器，進行分類和回歸模型的構建，計算損失函數，并進行反向傳播，修改權重；

S5、目標檢測識別：目標檢測識別模塊利用訓練好的Faster_RCNN模型對堤壩中的險情區域進行檢測，并判斷是否有險情，以及確定險情的具體位置、大小及置信度。

2.如權利要求1所述的基于Faster_RCNN的熱紅外圖像堤壩險情檢測方法，其特征在于，步驟S3具體過程如下：

S3-1.利用圖像處理模塊對于熱紅外圖像進行識別和標注：將特征明顯的熱紅外圖像挑選出來，將其中難以識別或已經檢修后的無效數據剔除，并將選擇挑選后的熱紅外圖像，使用400px * 400px的像素大小對整張的堤壩熱紅外圖像進行分割，然后將分割完成的數據集，使用Labelme軟件標出所有滲漏的特征，使用矩形框進行標注，以“leakage”作為滲漏標識，獲得一組與熱紅外圖像對應的標注集；

S3-2.確定訓練集與測試集：根據樣本的數量，以7:3的比例將訓練樣本分為訓練集和測試集，然后利用Python的os模塊將所有Labelme標注出的.txt格式文件整合為Faster_RCNN可讀取的.json文件。