[發明專利]基于注意力機制和生成對抗網絡的高光譜影像分類方法

在審

• 申請號: 202110533010.1
• 申請日: 2021-05-17
• 公開（公告）號: CN113128471A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 呂歡歡;張峻通;張輝;錢韞竹;胡楊;霍欣燃
• 申請（專利權）人: 遼寧工程技術大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 梁焱

1.一種基于注意力機制和生成對抗網絡的高光譜影像分類方法，其特征在于：該方法包括以下步驟：

步驟1：在鑒別器中輸入高光譜影像數據集；

步驟2：對輸入的高光譜影像數據集進行歸一化處理，得到歸一化后的高光譜影像數據集為：

其中，s為一個m行n列的高光譜影像的像素點個數，s＝m×n，p表示高光譜影像的波段數，a_sp表示第p個波段的第s個像素點；

步驟3：對歸一化后的高光譜影像數據集進行主成分分析，提取高光譜影像的光譜特征，得到真實樣本I，真實樣本I的大小為r×r×d，r×r表示空間鄰域窗口的大小，d表示光譜帶的個數；

步驟4：將含有噪聲和類標簽y的特征矩陣轉置為2×2×128的特征矩陣z，原特征矩陣的大小為1×1×512；

步驟5：將轉置后的特征矩陣z進行轉置卷積運算后，生成的特征表示為g(z,y)，g(z,y)∈{g¹(z,y),…,g^q(z,y),…,g^Q(z,y)}，其中1≤q≤Q，q為對應的卷積層數，Q為最大的轉置次數；

步驟6：將g(z,y)輸入到聯合的空間-光譜聯合注意力機制模塊，得到生成樣本L；

步驟7：將真實樣本I和生成樣本L進行四次5×5卷積，得到輸入樣本的層次特征d(·)，由四個卷積層從真實樣本I中提取的特征用d^j(x_i)＝{d¹(x_i),d²(x_i),d³(x_i),d⁴(x_i)}表示，其中x_i表示第i個訓練樣本，i∈[1,N]，N為訓練樣本總個數，j∈[1,4]；d¹(x_i)～d⁴(x_i)分別表示與生成的特征具有相同大小的鑒別器的四個真實樣本特征；

步驟8：通過鑒別器中真實樣本的特征d^j(x_i)與生成器中相應的等尺寸特征g^q(z,y)相加，生成新的融合特征融合特征計算方式如下：

其中，j和q的取值均為1、2、3、4，表示基于元素的求和操作；

步驟9：將步驟8得到的融合特征矩陣輸入到步驟6中；

步驟10：將層次特征d(·)沿著光譜通道依次輸入到卷積長短期記憶神經網絡ConvLSTM中，利用存儲單元捕捉光譜波段間的依賴關系，使用遺忘門和輸入門中的卷積算子提取空間信息，具體操作如下：

步驟10.1：層次特征d(·)沿著光譜通道被劃分成R個3D立方體(d(·)¹,…,d(·)^r,…d(·)^R)，其中，d(·)^r表示第r個3D立方體，R是立方體的總數目，(d(·)¹,…,d(·)^r,…d(·)^R)沿著光譜通道用于順序輸入ConvLSTM，利用存儲單元捕捉光譜波段間的依賴關系，利用遺忘門和輸入門中的卷積算子提取出空間-光譜信息矩陣T；

步驟10.2：通過識別器中的softmax函數實現分類，其中softmax函數預測輸入樣本的類標簽y∈{1,2,…,K,K+1}；在這個過程中，鑒別器的目標函數是盡可能將真實樣本分類為K類，將生成的樣本分類為K+1類。

2.根據權利要求1所述的基于注意力機制和生成對抗網絡的高光譜影像分類方法，其特征在于：所述步驟3的具體方法為：

步驟3.1：計算歸一化后高光譜影像數據集的協方差矩陣；

步驟3.2：求協方差矩陣的特征值和特征向量，進而得到第一主成分影像，并將得到真實樣本I，其大小為27×27×20。