[發明專利]基于通道特征增強與空間特征引導的高光譜與激光雷達數據融合分類方法

在審

• 申請號: 202310606244.3
• 申請日: 2023-05-26
• 公開（公告）號: CN116630757A
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 王雷全;魏昂
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/40;G06V10/764;G06V10/82;G06N3/0464;G06N3/0499;G06N3/08;G01S17/86;G01N21/25
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于通道特征增強與空間特征引導的高光譜與激光雷達數據融合分類方法，其特征在于，所述方法包括以下步驟：

S1.構建初級特征提取模塊，得到初級融合特征和高光譜特征。

S2.通過深度特征提取模塊獲取激光雷達的空間-通道特征。通過自注意力和多維注意力機制挖掘激光雷達數據潛在的通道特征。

S3.利用初級融合特征對激光雷達空間-通道特征進行特征增強，使其包含全局融合信息，并引導激光雷達特征學習高光譜空間特征，減小不同模態之間的差異。

S4.S1得到的高光譜特征與S3中增強后的激光雷達特征通過輕量級交叉注意力進行融合，并級聯激光雷達特征，促進兩種模態之間的交互。

S5.結合S1、S2、S3和S4構建基于通道特征增強與空間特征引導的融合分類網絡。

根據權利要求1所述的基于通道特征增強與空間特征引導的高光譜與激光雷達數據融合分類方法，其特征在于，所述S1的具體過程為：

初始高光譜數據的尺寸為C₁×W₁×H₁(W₀＝11，H₀＝11)，C₁指初始高光譜數據的波段數，不同的數據集波段數不同。初始激光雷達數據的尺寸為C₂×W₂×H₂(C₂＝1，W₂＝11，H₂＝11)，激光雷達數據依次通過卷積核數量為8，16，32的的卷積得到淺層激光雷達特征X_l，高光譜數據由PCA降維得到X_h。

為了得到初級融合特征，引導激光雷達數據參與之后的融合過程，高光譜和激光雷達分別進行兩次卷積，兩次卷積得到的特征圖都進行相加操作：

Y₁＝Conv1(X_h)+Conv2(X_l)?????(1)

其中Conv1，Conv2代表卷積核個數為128的卷積，Y₁代表第一層特征相加得到的特征圖。對第一層得到的特征分別進行卷積并相加得到新的特征圖，由下式給出：

Y₂＝Conv3(Conv1(X_h))+Conv4(Conv2(X_l))????(2)

其中Y₂代表第二層融合特征圖，之后融合第一層和第二層的信息：

Y₃＝linear(Y₁)+Y₂????(3)

由于Y₁和Y₂的通道數不同，因此利用線性層對Y₁降維并與Y₂相加得到64通道特征圖Y₃，即初級融合特征。本模塊還產生了高光譜特征用于最終的特征融合，由下式給出：

X′_h＝Conv5(Conv3(Conv1(X_h)))????(4)

其中X′_h代表三層卷積特征提取的32通道高光譜特征圖。

根據權利要求1所述的基于通道特征增強與空間特征引導的高光譜與激光雷達數據融合分類方法，其特征在于，所述S2的具體過程為：

激光雷達特征首先通過一個Norm層和MLP層，之后經過Norm層和多維度注意力模塊，最后通過Norm層和MLP層得到深度激光雷達特征：

X′_l＝MLP(MAttn(SA(X_l)))????(5)

SA表示self-attention，MAttn表示多維度注意力，MLP表示多層感知機，這三部分都包含了一個Norm標準化操作。

多維注意力機制從空間和通道兩個維度對數據進行處理，以得到多維特征：

在空間維度上，Pool₁和Pool₂代表兩個自適應平均池化操作，分別在寬和高維度上進行，得到兩個小尺寸的特征圖H和W。然后將這兩個特征圖相乘：

X₁＝MatMul(H，W)????(8)

X₁特征圖維度為B×C×H×W，這個過程可以使模型更加關注特定的空間區域。

在通道維度的操作與空間維度類似，公式如下：

首先將特征圖X₀轉換為一個大小為B×(H×W)×C的三維張量。然后將C分解為C_h和C_w，此時可以將(H×W)看作新特征圖的通道數，記為S，C_h和C_w看作新特征圖的高和寬。Pool₃和Pool₄代表兩個自適應平均池化操作，分別在新特征圖的高C_h和寬C_w維度上進行，得到兩個小尺寸的注意力特征圖H′和W′。

在高和寬維度上進行兩次自適應平均池化操作，得到兩個小尺寸的注意力特征圖并相乘：

X₂＝MatMul(H′，W′)????(11)

相乘得到一個新的特征圖X₂，大小為B×(H×W)×C。為了融合X₁和X₂的信息，需要將X₂的大小重新轉換為B×C×H×W，之后將二者的結果合并輸出：

X₃＝Conv₃(Conv₁(X₁)+Cony₂(X₂))???(12)

X₁和X₂分別進行一次卷積，其中每個部分都通過GroupNorm進行標準化。最后，通過進行卷積操作并返回最終結果X₃。

根據權利要求1所述的基于通道特征增強與空間特征引導的高光譜與激光雷達數據融合分類方法，其特征在于，所述S3的具體過程為：

以初級融合特征為先驗知識，對激光雷達特征進行引導和增強。首先對初級融合特征進行兩次卷積操作得到初級融合特征圖：

Y_a＝Conv_a(Conv_b(Y₃))????(13)

Y_m＝Conv_c(Conv_d(Y₃))????(14)

Y_a和Y_m表示對初級融合特征圖進行卷積操作得到的兩個新特征圖，使用一維卷積實現了映射的效果。新特征圖用于增強激光雷達特征：

FEM(X′_l∣Y_a,Y_m)＝Y_a⊙X′_l+Y_m?????(15)

它們分別與激光雷達特征做相加和相乘操作，FEM(X′_l∣Y_a,Y_m)作為特征增強模塊的輸出。

根據權利要求1所述的基于通道特征增強與空間特征引導的高光譜與激光雷達數據融合分類方法，其特征在于，所述S4的具體過程為：

為了促進高光譜和激光雷達信息的交互，提出了一種新的特征融合方法。首先產生查詢、鍵和值，這個過程的公式如下：

Q＝Conv_q(X_l),K＝Conv_k(X_h),V＝Conv_v(X_h)????(16)

其中Conv_q,Conv_k,Conv_v均一維卷積，將輸入特征投影為查詢、鍵和值,這樣可以減少參數量，且獲得的q,k,v更符合原數據分布，需要注意的是，q從激光雷達中產生，k和v從高光譜數據中產生，激光雷達數據能更加精準地定位到和它相關的鍵值對，從而在融合時更好地利用豐富的高光譜數據信息。融合過程首先計算Q和K的權重系數：

A(Q,K)表示通過計算得到的QK權重系數，表示縮放因子。之后以滑動窗口的方式計算注意力并聚合成最終結果：

L_s(i,j)表示以(i,j)為中心的空間尺寸為s的的像素局部區域,和分別表示滑動窗口注意力中的中心點的查詢值以及當前位置鍵值對的值。N表示多頭注意力的數目，n為當前注意力頭。每個像素點都會產生一個鍵值對匹配機制計算注意力，最終將結果相加，得到聚合注意力特征F作為模塊最終的輸出。F與激光雷達特征級聯，得到雙倍通道數特征圖：

F＝Concat(F,X_l)?????(19)

F是聚合注意力特征，X_l是激光雷達空間-通道特征。

對高維特征圖進行池化會損失更多的信息，因此首先將級聯后的特征圖利用線性層降維，之后利用自適應全局平均池化和線性層得到最終結果：

F′＝Linear₂(GAP(Linear₁(F)))???????(20)

Linear₁和Linear₂代表兩個線性層，GAP代表自適應全局平均池化，F′表示模塊的輸出。

2.根據權利要求1所述的基于通道特征增強與空間特征引導的高光譜與激光雷達數據融合分類方法，其特征在于，所述S5的具體過程為：

所述的基于通道特征增強與空間特征引導的高光譜與激光雷達數據融合分類方法包含一個初級融合特征提取模塊、一個深度特征提取模塊、一個特征增強模塊和一個特征融合模塊。