[發明專利]基于無人機的煤礦采空區裂縫識別方法及檢測系統

有效

• 申請號: 201910245321.0
• 申請日: 2019-03-28
• 公開（公告）號: CN110147714B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 程健;葉亮;郭一楠;王瑞彬;陳邵穎;張俊
• 申請（專利權）人: 煤炭科學研究總院;中國礦業大學
• 主分類號: G06V20/17
• 分類號: G06V20/17;G06V20/70;G06V10/26;G06V10/774;G06V10/764;G06V10/77;G06V10/82
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 彭雄

1.一種基于無人機的煤礦采空區裂縫識別方法，其特征在于：通過對數據增廣處理，結合圖像的深度語義信息，構建深度語義分割模型，采用密集深度可分離卷積單元，充分利用圖像特征，結合空間金字塔實現裂縫的多尺度特征提取；根據訓練樣本中裂縫占圖像的權重，自適應設置損失函數，從而加速訓練過程；采用密集分類，最終獲得像素級檢測結果；

包括如下步驟：

步驟1.對采集到的圖像進行標注和隨機裁剪，構建數據集，具體過程為：

步驟11)對采集到的圖像進行雙邊濾波處理，并采用雙線性插值降采樣方法，標準化圖像分辨率為W₀*H₀，其中，W₀表示降采樣后的圖像寬度，H₀表示降采樣后的圖像高度；

步驟12)根據先驗知識，標注標準化圖像中的裂縫，裂縫所對應像素點標注為類別1，其余像素點作為背景，標注為類別0；

步驟13)采用隨機裁剪方法，從每張圖像中裁剪出五幅分辨率為W_c*H_c的圖像，W_c表示裁剪后的圖像寬度，H_c表示裁剪后的圖像高度，其計算公式為：

imgCropL_x＝x_ij???(1)

imgCropL_y＝y_ij?????????(2)

imgCropR_x＝x_ij+W_c???(3)

imgCropR_y＝y_ij+H_c???(4)

其中，(imgCropL_x，imgCropL_y)為裁剪圖像的左上角坐標，(imgCropR_x，imgCropR_y)為裁剪圖像的右下角坐標，(x_ij，y_ij)表示在第i幅圖像中進行第j次裁剪時的圖像左上角坐標，x_ij∈[0，W₀-W_c]，y_ij∈[0，H₀-H_c]，i＝1，2…N，N為圖像的總數，j＝1，2…5；

步驟14)計算裁剪后單幅圖像中裂縫像素所占比例：

其中，表示圖像中裂縫所占比例，表示圖像中被標注為裂縫的像素數，表示圖像中的像素規模，丟棄比例小于比例調節參數的圖像；并對剩余圖像進行分類，構建用于訓練深度語義分割模型的訓練集、驗證集和測試集；

步驟2.對步驟1)獲得的數據集，進行數據增廣處理，具體步驟為：

步驟21)對訓練集和驗證集中的圖像進行隨機亮度調整，對任意圖像中第a個通道的第b個像素點調整亮度，如下所示：

其中，I_ijab表示RGB圖像第a個通道中第b個像素點的亮度調整值，a＝1，2，3，v∈[-Δ，Δ]表示亮度調整參數，Δ為亮度調整峰值，遍歷圖像上所有像素點，完成隨機亮度調整；

步驟22)對訓練集和驗證集中的圖片進行隨機對比度調整，對任意圖像中第a個通道的第b個像素點調整對比度，如下所示：

其中，J_ijab表示RGB圖像第a個通道中第b個像素點的對比度調整值，表示任意通道中所有像素點的平均值，n為圖像的像素規模，表示對比度調節因子，c表示對比度調節因子最小值，表示對比度調節因子最大值，遍歷圖像上所有像素點，完成隨機對比度調整；

步驟23)對訓練集和驗證集中的圖像進行鏡像處理，對任意圖像中第a個通道進行水平鏡像，計算公式如下：

其中，W_ija表示圖像寬度，(x_ija，y_ia)表示原圖像的坐標，表示水平鏡像變換后的圖像坐標；任意圖像中第a個通道進行垂直鏡像，計算公式如下：

其中，H_ija表示圖像高度，(x_ija，y_ija)表示原圖像的坐標，表示垂直鏡像變換后的圖像坐標；

步驟3.構建并訓練深度語義分割模型，具體步驟為：

步驟31)構建深度語義分割模型，所述深度語義分割模型包括四個密集深度可分離卷積單元-最大池化單元、一個Atrous空間金字塔單元、四個反卷積-卷積單元、密集分類單元，其中：密集深度可分離卷積單元-最大池化單元構成下采樣路徑，用于裂縫的深度特征提取；Atrous空間金字塔單元用于裂縫的多尺度特征提取；四個反卷積-卷積單元構成上采樣路徑，用于還原裂縫的高分辨率特征；在每個卷積單元后加入批標準化單元，用于加速模型訓練、避免過擬合；密集分類單元設置反卷積-卷積單元之后，用于根據還原裂縫的高分辨率特征得到像素級的檢測結果；

密集深度可分離卷積單元由4個深度可分離卷積組成；深度可分離卷積采用不同的卷積核對輸入特征映射圖的各通道做卷積操作，得到的特征映射圖采用1*1的卷積核做線性映射求和，輸出通道數為24的特征映射圖；前兩層的深度可分離卷積使用7*7的卷積核，后兩層的深度可分離卷積分別使用5*5和3*3的卷積核；每個深度可分離卷積的輸入為之前的深度可分離卷積輸出特征映射圖的通道拼接；

最大池化單元采用2*2的滑動窗口，在特征映射圖中以大小為2的步長進行滑動，保留滑動窗口內的最大值；

Atrous空間金字塔單元分別采用1*1的卷積、三個Atrous卷積，對輸入特征映射圖卷積求和，對所有輸出進行通道拼接，提取圖像多尺度特征；Atrous卷積單元采用帶孔的卷積對特征映射圖卷積求和；三個Atrous卷積的卷積核為3*3，采樣間隔r分別為3、6、9，卷積核數目均為64；記L為一維輸入信號，w(k)表示長度為k的卷積核，r表示輸入信號采樣間隔，一維特征映射圖的Atrous卷積計算公式為：

卷積單元采用特定卷積核對輸入特征映射圖進行卷積求和；前兩個卷積核尺寸分別為3*3和5*5，后兩個卷積核尺寸為7*7，卷積核數目分別為32、64、128、256；記F_l為當前層的二維特征映射圖，F_l+1為經卷積操作之后的特征映射圖，K_l(m，n)表示尺寸為m×n的卷積核，b_l表示偏差值，二維特征映射圖的卷積計算公式為：

反卷積單元，對特征映射圖的所有元素根據步長間隔填充0，恢復特征映射圖的高分辨率尺寸，再對其進行卷積求和；反卷積的卷積核尺寸為3*3，步長strides＝2，卷積核數目分別為32、64、128、256；

密集分類單元，對特征映射圖做1x1的卷積映射，得到包含有背景和裂縫兩個通道的特征映射圖，通過對兩個通道求最大值索引做密集分類；

批標準化單元用于加速模型訓練，并防止數據過擬合，其計算公式為：

其中，m表示批尺寸，z_c表示第c批特征映射圖中的數據規模，表示批均值，表示批方差，γ和β為可學習參數，表示歸一化后批數據，u_c表示經過縮放和平移微調處理后批數據；

步驟32)計算訓練集中所有裂縫占圖像的整體權重：

其中，ρ表示訓練集中所有圖像中裂縫的權重值，N_mask表示所有圖像中被標注為裂縫的像素數，N_image表示所有圖像的像素規模；

步驟33)構建加權softmax的交叉熵損失函數，其公式如下：

H_a(p)＝-∑_xα_dq_dlog(p_d)?????????(15)

α_d＝α_d-1ρ?????????(17)

其中，H_a(p)是交叉熵損失函數，p_d表示像素點屬于第d類的概率，q_d表示第d類的標簽值，α_d表示損失函數中第d類所占權重；f_d表示模型預測像素點屬于第d類的分數；

步驟34)數據歸一化，采用梯度更新算法訓練模型，其更新公式如下：

m_t＝β₁m_t-1+(1-β₁)g_t????(19)

其中，t表示時刻，β₁表示一階矩估計的衰減率，β₂表示二階矩估計的衰減率，lr_t表示t時刻的學習率，g_t表示t時刻的梯度值，m_t表示t時刻的梯度一階矩估計，v_t表示第t時刻的梯度二階矩估計，∈為預先設定常數，θ_t表示t時刻的模型參數；

步驟4.采用深度語義分割模型對待檢測圖像進行識別，并在圖像上標注分類結果，具體步驟為：

步驟41)采用深度語義分割模型，對待檢測圖像進行分類；

步驟42)對圖像上所有識別為裂縫的像素點進行類別標注。