[發(fā)明專利]一種基于Transformer地震信號分類識別方法

在審

• 申請?zhí)枺?/td>: 202310246159.0
• 申請日: 2023-03-15
• 公開（公告）號: CN116304818A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設計）人: 吳業(yè)正;黃漢明;何玉龍;諸廣鐳
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06F18/24
• 分類號: G06F18/24;G06F18/213;G06N3/08;G06F18/214;G06N3/0464
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 周雯

1.一種基于Transformer地震信號分類識別方法，其特征在于，包括如下步驟：

S1.數(shù)據(jù)獲取：獲取地震站臺記錄的三分量事件波形數(shù)據(jù)，其中三分量分別為東西分量、南北分量和垂直分量；將一個事件波形數(shù)據(jù)的三分量當作三個事件來進行識別，即把一個事件中的一個分量當作一個識別單元，以增加數(shù)據(jù)集的數(shù)量，使模型能學習到波形特征，具體實施過程包括以下兩個處理：

S11：數(shù)據(jù)截取與去均值傾向：由于原始波形數(shù)據(jù)記錄的時間長度不同，因此先對原始波形數(shù)據(jù)進行預處理，將原始波形截取相同的長度，原始波形數(shù)據(jù)中記錄從P波初動到S波結(jié)束的時間相差較大，由幾十秒至幾百秒不等，為了充分將波形特征留在截取的長度范圍內(nèi)，截取時間為S波初動前的160秒開始，截取長度為327.68秒，采樣頻率為100H_Z，采樣點為32768點，然后將數(shù)據(jù)通過差分法進行去除均值傾向，令h₀＝0，其運算公式為：

h_k＝d_k-d_k-1,k∈[1,n]；

S12：數(shù)據(jù)歸一化：若不同地震信號數(shù)據(jù)幅值差距過大，同一地震信號站臺距離震源的遠近也會對幅值產(chǎn)生影響，為了確保地震信號數(shù)據(jù)在相同的離散程度下進行比較，幫助模型更快地收斂，需要對實驗使用的地震信號數(shù)據(jù)進行歸一化處理，采用最大最小值歸一化方法，將地震信號數(shù)據(jù)放縮至[0,1]區(qū)間，最大最小值歸一化公式為：

S2.構(gòu)建主干網(wǎng)絡：主干網(wǎng)絡由地震波形數(shù)據(jù)進行特征提取，以學習地震信號的特征，然后對特征進行分類，主干網(wǎng)絡主要由以下幾步構(gòu)成：

S21：構(gòu)建自注意力模塊：自注意力機制通過計算輸入序列之間的相互影響，捕獲全局上下文信息，對目標建立遠距離依賴，解決傳統(tǒng)注意力長距離依賴有限問題，注意力計算過程如下所示：

假設x_i，i∈(1,2,3,…,n)為輸入樣本的特征圖，W^Q，W^k，W^V分別為生成q_i，k_i，v_i的模型權重系數(shù)，將x_i，i∈(1,2,3,…,n)分別與W^Q，W^k，W^V權重系數(shù)相乘得到q_i，k_i，v_i，i∈(1,2,3,…,n)，計算q_i與k_i之間的相關性，除以k矩陣維度的平方根使用SoftMax函數(shù)對結(jié)果進行計算，與對應的v_m相乘得到加權運算后特征圖z_i，i∈(1,2,3,…,n)，計算公式為：

S22：構(gòu)建多頭自注意力模塊：多頭自注意力模塊是將q_i，k_i，v_i整體看作一個頭，通過多個不同的頭來計算特征圖中不同特征之間的相關性，將x_i與多組W^Q，W^k，W^V相乘得到q_i，k_i，v_i，i∈(1,2,3,…,n)，并進行自注意力計算，得到不同頭的計算結(jié)果，不同頭的計算結(jié)果進行拼接后輸入全連接層進行線性變換得到最終結(jié)果，公式為：

z_hi＝Attention(QW_i^Q,QW_i^K,QW_i^V)

z₁＝Concat(z_h1,z_h2,z_h3)W^l；

S23：構(gòu)建窗口式多頭自注意力模塊：通過特征圖按照窗口大小為16劃分為多個窗口，然后每個特征圖窗口X與不同的權重矩陣W^Q，W^K，W^V相乘得到相應的查詢向量Q、鍵向量K和值向量V，再對每個窗口進行多頭自注意力的計算，計算結(jié)束后，將每個窗口特征圖拼接成一個與劃分窗口之前一樣大小的特征圖，然后基于構(gòu)建出的窗口式多頭自注意力模塊構(gòu)建滑動窗口多頭自注意力模塊，滑動窗口多頭自注意力模塊主要獲取跨窗口信息；

S24：構(gòu)建滑動窗口多頭自注意力模塊：滑動窗口多頭自注意力機制是通過對窗口多頭自注意力進行滑窗操作，即在特征圖劃分窗口之前，對特征數(shù)據(jù)做一個滾動操作，使不同窗口之間能夠進行信息傳遞，獲取長距離依賴，同時具有全局感受野。然后基于構(gòu)建出的滑動窗口多頭自注意力模塊構(gòu)建滑動窗口多頭自注意力模塊，滑動窗口多頭自注意力模塊主要獲取跨窗口信息；

S25：構(gòu)建空間置換滑動窗口多頭自注意力模塊：空間置換滑動窗口多頭自注意力模塊層采用了Swin?Transformer網(wǎng)絡結(jié)構(gòu)中的滑動窗口多頭注意力機制和ShuffleTransformer網(wǎng)絡中的空間置換規(guī)則，在滑動窗口多頭注意力機制即SW-MSA的前后對輸入數(shù)據(jù)進行空間置換，不同的通道之間相互交換，使連續(xù)的兩個窗口多頭自注意力機制層的第二個窗口多頭自注意力機制層能夠接收來自不同窗口的輸入，促進窗口間的信息交互；

S26：構(gòu)建MLP模塊：通過MLP模塊對空間置換滑動窗口多頭自注意力計算結(jié)果進行優(yōu)化；

S27：構(gòu)建總網(wǎng)絡：總網(wǎng)絡的第一層為卷積核大小為16，步長為16，通道數(shù)為12的卷積層，通過第一層的卷積層，將大小為32768×1震源信號分割成大小為2048×1的非重疊特征圖，然后將得到的特征圖輸入到由窗口多頭自注意力機制即W-MSA層和空間置換滑動窗口多頭自注意力機制即SSW-MSA層組成的Transformer模塊，提取特征圖的全局信息，再將特征圖輸入合并層，對特征圖進行間隔4個特征點采樣，并拼接成一整個張量，尺寸縮小4倍，通道數(shù)升為4倍，再通過全連接層將通道數(shù)降為2倍，縮小特征圖的尺寸大小，提升通道數(shù)，得到大小為512×24的特征圖，W-MSA層和SSW-MSA層相比多頭自注意力機制即MSA層，能減少計算力和內(nèi)存需求，提升局部建模能力，然后再分別經(jīng)過1個Transformer模塊、1個合并層、1個W-MSA和SSW-MSA層，最后經(jīng)過層歸一化、全局池化和全連接層輸出最終分類結(jié)果；

每個Transformer模塊由窗口多頭自注意力機制層和空間置換滑動窗口多頭自注意力機制層組成，窗口多頭自注意力機制層和空間置換滑動窗口多頭自注意力機制層由層歸一化、窗口多頭自注意力機制、空間置換滑動窗口多頭自注意力機制和多層感知機通過殘差鏈接組成；具體過程可表示為：

x^l＝W-MSA(LN(z^l-1))+z^l-1,

z^l＝MLP(LN(x^l))+x^l,

y^l＝SSW-MSA(LN(z^l))+z^l,

z^l+1＝MLP(LN(y^l))+y^l,

其中x^l，y^l和z^l分別表示W(wǎng)-MSA模塊、SSW-MSA模塊和多層感知機模塊的輸出特征，當固定窗口多頭自注意力機制的窗口大小為M后，假設多頭自注意力有N個塊數(shù)量，窗口式多頭自注意力的每個窗口有M個塊數(shù)量，則多頭自注意力的和窗口多頭自注意力計算復雜度為：

Ω(MSA)＝4NC²+2N²C

Ω(W-MSA)＝4NC²+2NMC

C表示通道數(shù)，當M小于N時，模型的訓練速度和計算效率會有提升；當M固定時，基于窗口自注意力的計算復雜度隨N線性增長；

S3.在訓練階段，采用使用RMSprop優(yōu)化器對模型的參數(shù)權重進行優(yōu)化；

S4.參數(shù)配準，訓練模型；訓練參數(shù)具體設置如下所示：

Batch_size＝64，epoch＝1000，Optimizer＝Adam，Learning_rate＝0.001。