[發明專利]一種基于無人機視覺感知和深度學習的堤壩裂縫智能檢測方法

在審

• 申請號: 202211628845.6
• 申請日: 2022-12-18
• 公開（公告）號: CN115880594A
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 辛劍飛;訾亞磊;孫亞飛;李冰;王捷;姚曉斌;賈憲武
• 申請（專利權）人: 新鄉市水利水電工程質量監測站
• 主分類號: G06V20/17
• 分類號: G06V20/17;G06V10/80;G06V10/762;G06V10/82;G06V10/774;G06T7/11;G06T7/00;G06N3/0464
• 代理公司: 青島博雅知識產權代理事務所(普通合伙) 37317
• 代理人: 封代臣

1.一種基于無人機視覺感知和深度學習的堤壩裂縫智能檢測方法，其特征在于，包括如下步驟：

步驟1，利用無人機對堤壩進行拍攝，采集堤壩表面區域的圖像；

步驟2，堤壩裂縫的識別與定位：

首先進行預處理：對采集圖像進行增強處理并采用LabelMe標注工具進行數據標注和Mask掩膜制作；

其次，基于改進FPN的Mask R-CNN算法進行堤壩裂縫識別：

輸入待檢測圖像，利用ResNet-101網絡提取圖像的深度特征{C2,C3,C4,C5}；

采用改進FPN特征金字塔網絡，將ResNet-101生成的特征圖與底層特征信息進行融合，輸出自上而下融合特征圖{P2,P3,P4,P5}和自下而上融合特征圖{T2,T3,T4,T5}；

將自上而下融合特征圖{P2,P3,P4,P5}和自下而上融合特征圖{T2,T3,T4,T5}進行融合，獲得多尺度多信息特征圖{Q2,Q3,Q4,Q5}，并將其輸入RPN區域生成網絡，生成關于檢測目標的建議框；

采用RoI Align網絡對生成的建議框執行對齊操作；

采用全卷積網絡對對齊后的建議框進行分類、邊界回歸和Mask分割操作；

輸出對采集圖像的裂縫檢測結果、目標檢測框以及目標掩膜；

最后定位裂縫在堤壩表面的具體位置；

步驟3，堤壩裂縫尺寸信息計算：

首先，將含裂縫的彩色圖像轉換為灰度圖像，得到裂縫的初始灰度圖像，圖像像素灰度值集合{x₁,x₂,…,x_N}，N為樣本數；

其次，利用K-means聚類算法和區域生長算法對裂縫灰度圖像進行精確分割：

將裂縫灰度圖像按像素特征劃分為背景區域、噪聲區域和裂縫區域3類，因此初始化K簇值為3，通過下式計算裂縫灰度圖像中每個像素點到預設初始中心{u₁,u₂,…,u_K}的距離，動態調整聚類中心，迭代此過程直至聚類結果收斂為止，得到最佳聚類結果；

上式中，x_l為第l個樣本數據，u_k為第k個簇中心，J表示樣本數據中x_l與u_k之間距離的累加和；

利用區域生長算法對裂縫灰度圖像進行精確分割時，將K-means聚類算法求出的裂縫目標聚類中心像素灰度值對應點作為初始目標點，并以目標點與周圍八鄰域灰度像素點大小變化作為生長準則的評判標準，假設裂縫灰度圖像的大小為M×N，G(i,j)表示坐標為(i,j)的點的像素灰度值，給點(i,j)設置一個標量F_i,j，則裂縫的生長準則S為：

S(G(i,j),G(i±1,j±1))≤T

上式中，G(i±1,j±1)表示點(i,j)八鄰域內任一點的像素灰度值，S(G(i,j),G(i±1,j±1))表示點(i,j)與周圍八鄰域點像素灰度值的相似程度，T是一個閾值，取值為10，如果滿足上式，則F_i,j＝1，表示點(i,j)屬于裂縫區域；否則F_i,j＝0，表示點(i,j)不屬于裂縫區域；

然后，按寬度對分割后圖像中的裂縫區域進行分段標識；

最后，計算裂縫尺寸信息：

裂縫面積P_a為：P_a＝λ²·P_v，上式中，P_v為裂縫的像素尺寸，λ為裂縫在圖像中的縮放比例；

裂縫長度：對裂縫骨架進行圖像細化，細化后的裂縫寬度為單個像素，計算此時周長的一半得到裂縫的像素數目，依據像素的實際物理尺寸，得到裂縫長度；

裂縫平均寬度為裂縫面積與長度之比，計算公式為：

d_e＝2S_e/C_e,1≤e≤n

上式中，S_e為第e個裂縫的面積，C_e為第e個裂縫的周長，d_e為第e個裂縫的平均寬度，n為裂縫總數。