[發(fā)明專利]一種基于無人機視覺感知和深度學習的堤壩裂縫智能檢測方法

在審

• 申請?zhí)枺?/td>: 202211628845.6
• 申請日: 2022-12-18
• 公開（公告）號: CN115880594A
• 公開（公告）日: 2023-03-31
• 發(fā)明（設計）人: 辛劍飛;訾亞磊;孫亞飛;李冰;王捷;姚曉斌;賈憲武
• 申請（專利權）人: 新鄉(xiāng)市水利水電工程質量監(jiān)測站
• 主分類號: G06V20/17
• 分類號: G06V20/17;G06V10/80;G06V10/762;G06V10/82;G06V10/774;G06T7/11;G06T7/00;G06N3/0464
• 代理公司: 青島博雅知識產(chǎn)權代理事務所(普通合伙) 37317
• 代理人: 封代臣

本發(fā)明公開了.一種基于無人機視覺感知和深度學習的堤壩裂縫智能檢測方法，包括如下步驟：步驟1，利用無人機對堤壩進行拍攝，采集堤壩表面區(qū)域的圖像；步驟2，堤壩裂縫的識別與定位：步驟3，堤壩裂縫尺寸信息計算：步驟4，計算裂縫尺寸信息。本發(fā)明所公開的方法，利用無人機對堤壩表面進行圖像數(shù)據(jù)采集，利用深度學習和圖像處理技術對堤壩裂縫進行識別、定位和量化，可以實現(xiàn)快速、自動、智能化的堤壩裂縫檢測；基于改進FPN的Mask R?CNN算法進行堤壩裂縫識別，能夠提升對小裂縫的識別能力，提高裂縫的檢測精度。

技術領域

本發(fā)明屬于堤壩結構的健康監(jiān)測與損傷識別領域，特別涉及該領域中的一種基于無人機視覺感知和深度學習的堤壩裂縫智能檢測方法。

背景技術

裂縫是我國水庫堤壩等大體積混凝土結構中普遍存在的一種病害，裂縫的存在影響著堤壩建筑的整體性、耐久性和抗震性能，大大降低了堤壩的質量。因此，需要對堤壩的病害風險，特別是裂縫進行定期檢測。由于堤壩裂縫具有寬度小、可見性差、識別特征不明顯等特點，因此實現(xiàn)快速、穩(wěn)定、準確的堤壩裂縫檢測仍然是一個極具挑戰(zhàn)性的難題。

對于堤壩裂縫檢測，最早且最常用的方法是依靠人工觀測，但該方法耗時、效率低下，且較容易受到人為主觀因素的影響，導致大規(guī)模堤壩快速檢測無法實現(xiàn)。隨著科技的進步與發(fā)展，無人機智能巡檢技術的出現(xiàn)為堤壩表觀裂縫檢測提供了良好的發(fā)展思路。無人機作為一種新興的數(shù)據(jù)采集方法，可以通過搭載多種型號的傳感器來滿足不同類型的裂縫檢測要求，能夠輕松獲取測量人員難以采集的數(shù)據(jù)信息，并且可以向地面或云系統(tǒng)傳輸拍攝的圖像信息，與先進的數(shù)字圖像處理算法相結合，從而實現(xiàn)對堤壩裂縫信息的高效準確定位與識別。

目前以無人機為載體，采用圖像識別技術對堤壩裂縫進行快速識別已開始進入工程應用階段。但是，人機的抖動、外界干擾和目標物背景復雜等因素的干擾，常常造成圖像模糊、區(qū)域分辨率較低和裂縫像素點過少等問題，導致小目標識別精度較低，難以對裂縫部位進行精確識別、定位和量化。雖然研究人員已經(jīng)將深度學習(DNN、CNN、Faster RCNN網(wǎng)絡)應用到堤壩裂縫檢測和識別領域，并取得較大突破。但是，在小目標的檢測準確率方面仍然不夠理想。而且，在裂縫的定位和量化方面也未能做到自動化和智能化。因此急需研究一種適應于堤壩裂縫快速檢測的無人機智能檢測方法。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術問題就是提供一種基于無人機視覺感知和深度學習的堤壩裂縫智能檢測方法，用于提高對堤壩小裂縫的識別精度，并能計算裂縫的尺寸信息，實現(xiàn)快速、準確、智能的堤壩裂縫檢測。

本發(fā)明采用如下技術方案：

一種基于無人機視覺感知和深度學習的堤壩裂縫智能檢測方法，其改進之處在于，包括如下步驟：

步驟1，利用無人機對堤壩進行拍攝，采集堤壩表面區(qū)域的圖像；

步驟2，堤壩裂縫的識別與定位：

首先進行預處理：對采集圖像進行增強處理并采用LabelMe標注工具進行數(shù)據(jù)標注和Mask掩膜制作；

其次，基于改進FPN的Mask R-CNN算法進行堤壩裂縫識別：

輸入待檢測圖像，利用ResNet-101網(wǎng)絡提取圖像的深度特征{C2,C3,C4,C5}；

采用改進FPN特征金字塔網(wǎng)絡，將ResNet-101生成的特征圖與底層特征信息進行融合，輸出自上而下融合特征圖{P2,P3,P4,P5}和自下而上融合特征圖{T2,T3,T4,T5}；

將自上而下融合特征圖{P2,P3,P4,P5}和自下而上融合特征圖{T2,T3,T4,T5}進行融合，獲得多尺度多信息特征圖{Q2,Q3,Q4,Q5}，并將其輸入RPN區(qū)域生成網(wǎng)絡，生成關于檢測目標的建議框；

采用RoI Align網(wǎng)絡對生成的建議框執(zhí)行對齊操作；