[發明專利]基于改進自注意力機制與遷移學習的山體裂縫檢測方法

在審

• 申請號: 202111335474.8
• 申請日: 2021-11-11
• 公開（公告）號: CN114022770A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 吳賀俊;李可
• 申請（專利權）人: 中山大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/40;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 禹小明

1.一種基于改進自注意力機制與遷移學習的山體裂縫檢測方法，其特征在于，包括以下步驟：

S1：對裂縫檢測網絡的數據集進行預處理得到訓練集和驗證集；

S2：利用步驟S1得到的訓練集對裂縫檢測網絡進行訓練；

S3：利用步驟S1得到的驗證集選擇訓練裂縫檢測網絡得到的表現最好的模型；

S4：在不同道路裂縫數據集上測試模型的性能，泛化性；

S5：利用遷移學習方法將步驟S4處理后的模型應用于山體裂縫檢測。

2.根據權利要求1所述的基于改進自注意力機制與遷移學習的山體裂縫檢測方法，其特征在于，所述步驟S1的過程是：

將所有的訓練樣本與標簽樣本重新尺寸化以利于計算損失，并且去除數據集中噪聲過多的樣本，之后，將剩余合格樣本劃分為訓練集與驗證集，其中訓練集用于訓練網絡，而驗證集用于選擇性能最佳模型。

3.根據權利要求2所述的基于改進自注意力機制與遷移學習的山體裂縫檢測方法，其特征在于，所述步驟S2的過程是：

S21：使用ImageNet-1k預訓練裂縫檢測網絡的Swin-Transformer主干網絡部分；

S22：使用訓練集訓練整個網絡。

4.根據權利要求3所述的基于改進自注意力機制與遷移學習的山體裂縫檢測方法，其特征在于，步驟S21中的Swin-Transformer主干網絡包含兩種基本網絡模塊：Swin-Transformer模塊和Patch-merging模塊：

1)、Swin-Transformer模塊：

Swin-Transformer是一種包含改進的自注意力機制的模塊，它提取圖片的全局依賴關系，同時改進一般自注意力模塊訓練緩慢的問題，Swin-Transformer中包含若干連續Swin-Transformer block對，輸入在第一個block中首先經過線性歸一化層與基于滑動窗口的多頭自注意力層計算并加上殘差，之后經過線性歸一化層和多層感知機層再加上殘差，得到的輸出交給下一個block，依舊進行上述過程計算，唯一不同之處在于基于窗口的多頭自注意力層變換成了移動的基于窗口的多頭自注意力層，設輸入為z^l-1，公式化上述過程可得：

W-MSA將圖片劃分成較小的patch，之后用窗口將圖片劃分，每個patch只和同一窗口內的patch做自注意力計算：

其中，Q，K，V是由圖片中每個patch經過卷積神經網絡embedding之后再乘上轉換矩陣得到的向量，設每張圖片可劃分為H×W個patch，每個patch得到的Q，K，V向量長度為C，而每個窗口范圍內包含M×M個patch，則自注意力機制MSA與W-MSA的計算時間復雜度分別為：

Ω(MSA)＝4HWC²+2(HW)²C

Ω(W-MSA)＝4HWC²+2M²HWC

前者的計算復雜度為圖片的長寬之積HW的平方，而后者的復雜度則在M²＜＜HW時與HW成線性關系，因此當圖片尺寸大時，W-MSA可以顯著的加速自注意力權重的計算從而加快網絡的訓練過程；

雖然W-MSA相比MSA的計算復雜度顯著減小，但其限定了自注意力在每個窗口內計算，因此無法提取不同窗口內patch的依賴關系，需通過SW-MSA解決這個問題，通過將窗口整體的滑動得到新的窗口劃分方式，從而計算原來在不同窗口的patch之間的注意力權重；

2)、Patch-merging模塊：

Patch-merging旨在通過對特征圖的patch向量進行合并，以對特征圖進行近似下采樣，從而提取圖片的多尺度信息。