[發明專利]基于改進自注意力機制與遷移學習的山體裂縫檢測方法

在審

• 申請號: 202111335474.8
• 申請日: 2021-11-11
• 公開（公告）號: CN114022770A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 吳賀俊;李可
• 申請（專利權）人: 中山大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/40;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 禹小明

本發明提供基于改進自注意力機制與遷移學習的山體裂縫檢測方法，該方法對裂縫檢測網絡的數據集進行預處理得到訓練集和驗證集；利用得到的訓練集對裂縫檢測網絡進行訓練；利用得到的驗證集選擇訓練裂縫檢測網絡得到的表現最好的模型；在不同道路裂縫數據集上測試模型的性能，泛化性；利用遷移學習方法將處理后的模型應用于山體裂縫檢測。本發明面向高精度山體裂縫檢測應用場景，研究圖片不同尺度特征的提取方式，提出了一種新型的裂縫檢測網絡結構，并從結構層面和公式層面對新網絡進行了詳細的闡述。本發明利用不同的數據實驗說明了網絡如何應用于具體的檢測場景，并通過與代表性方法進行性能對比，展現了新型算法的優勢所在。

技術領域

本發明涉及深度學習領域與計算機視覺領域，更具體地，涉及一種基于改進自注意力機制與遷移學習的山體裂縫檢測方法。

背景技術

山體裂縫是一種常見的自然隱患，未及時預警的山體裂縫常演化為山體滑坡等自然災害，造成巨大的財產損失、人員傷亡，因此及時檢測山體裂縫十分必要。傳統的山體裂縫檢測方法大都采用儀器監測加人工識別的方法，這些方法雖然具有一定的檢測效果，但易受到場境限制，并且自動化程度低，需要消耗大量人力物力。

基于深度學習的裂縫檢測方法因其自動化程度高有很好的發展前景，但仍存在許多的問題導致其許多場景下因準確率不夠而不能實用。具體看，當前主流的基于深度學習的檢測方法主要包括基于上、下采樣的方法、基于編碼器-解碼器結構的方法以及基于自注意力機制的方法三類。其中，第一類方法的網絡提取的信息不夠豐富且沒有考慮到不同尺度特征的獨特性，檢測精度較低。第二類方法由于卷積神經網絡難以關注到像素的全局依賴關系，在細粒度上的分割效果仍待提高。第三類方法在網絡中加入了自注意力機制以提取像素的全局依賴關系，一定程度地提升了網絡的檢測精度，但這類方法自注意力權重的計算復雜度過高，導致訓練低效，精度提升有限，一般不能滿足要求。同時，山體裂縫圖片還存在數據缺乏，影響網絡訓練的問題。

發明內容

本發明提供一種基于改進自注意力機制與遷移學習的山體裂縫檢測方法來高效地檢測、預警山體裂縫。

為了達到上述技術效果，本發明的技術方案如下：

一種基于改進自注意力機制與遷移學習的山體裂縫檢測方法，包括以下步驟：

S1：對裂縫檢測網絡的數據集進行預處理得到訓練集和驗證集；

S2：利用步驟S1得到的訓練集對裂縫檢測網絡進行訓練；

S3：利用步驟S1得到的驗證集選擇訓練裂縫檢測網絡得到的表現最好的模型；

S4：在不同道路裂縫數據集上測試模型的性能，泛化性；

S5：利用遷移學習方法將步驟S4處理后的模型應用于山體裂縫檢測。

進一步地，所述步驟S1的過程是：

將所有的訓練樣本與標簽樣本重新尺寸化以利于計算損失，并且去除數據集中噪聲過多的樣本，之后，將剩余合格樣本劃分為訓練集與驗證集，其中訓練集用于訓練網絡，而驗證集用于選擇性能最佳模型。

進一步地，所述步驟S2的過程是：

S21：使用ImageNet-1k預訓練裂縫檢測網絡的Swin-Transformer主干網絡部分；

S22：使用訓練集訓練整個網絡。

進一步地，步驟S21中的Swin-Transformer主干網絡包含兩種基本網絡模塊：Swin-Transformer模塊和Patch-merging模塊：

1)、Swin-Transformer模塊：