[發明專利]一種基于深度Transformer的高光譜影像分類方法

有效

• 申請號: 202110056787.3
• 申請日: 2021-01-15
• 公開（公告）號: CN112749752B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 劉冰;余岸竹;張鵬強;薛志祥;左溪冰;高奎亮;孫一帆
• 申請（專利權）人: 中國人民解放軍戰略支援部隊信息工程大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 鄭州睿信知識產權代理有限公司 41119
• 代理人: 史萌楊

1.一種基于深度Transformer的高光譜影像分類方法，其特征在于，包括如下步驟：

1)獲取待分類的高光譜影像；

2)將待分類的高光譜影像分別輸入至訓練好的深度空-譜Transformer模型中，以對高光譜影像進行分類；

其中，所述訓練好的深度空-譜Transformer模型利用已標記的高光譜影像和對應的標記結果進行訓練得到；且所述深度空-譜Transformer模型包括光譜維度注意力模型、空間維度注意力模型和分類器；

所述光譜維度注意力模型包括順次連接的光譜輸入層、光譜卷積層、光譜深度學習層和光譜輸出層；所述光譜輸入層用于將待分類的高光譜影像沿著光譜維度劃分為b個光譜圖像塊，b為波段數；所述光譜卷積層用于將所述光譜圖像塊轉換成光譜特征向量；所述光譜深度學習層包括光譜位置編碼層和順次連接的至少兩層光譜Transformer層，所述光譜位置編碼層用于對所述光譜特征向量進行位置編碼，并與所述光譜特征向量相加，相加的結果作為第一層光譜Transformer層的輸入，其余的光譜Transformer層的輸入均為前一層光譜Transformer層的輸出；所述光譜輸出層用于對最后一層光譜Transformer層的輸出進行處理得到光譜維度輸出特征；

所述空間維度注意力模型包括順次連接的空間輸入層、空間卷積層、空間深度學習層和空間輸出層；所述空間輸入層用于將待分類的高光譜影像進行降維處理并沿著空間維度劃分為k個空間圖像塊；所述空間卷積層用于將所述空間圖像塊轉換成空間特征向量；所述空間深度學習層包括空間位置編碼層和順次連接的至少兩層空間Transformer層，所述空間位置編碼層用于對所述空間特征向量進行位置編碼，并與所述空間特征向量相加，相加的結果作為第一層空間Transformer層的輸入，其余的空間Transformer層的輸入均為前一層空間Transformer層的輸出；所述空間輸出層用于對最后一層空間Transformer層的輸出進行處理得到空間維度輸出特征；

所述分類器用于根據拼接在一起的所述光譜維度輸出特征和所述空間維度輸出特征進行高光譜影像分類。

2.根據權利要求1所述的基于深度Transformer的高光譜影像分類方法，其特征在于，所述光譜Transformer層和空間Transformer層均為六層。

3.根據權利要求1所述的基于深度Transformer的高光譜影像分類方法，其特征在于，所述光譜Transformer層和空間Transformer層均包括自注意力層和前饋神經網絡層；所述前饋神經網絡層采用兩層的多層感知機；所述自注意力層所采用的自注意力機制為：

其中，Q、K、V分別為查詢矩陣、鍵矩陣和值矩陣，d_k是輸入的維度。

4.根據權利要求1所述的基于深度Transformer的高光譜影像分類方法，其特征在于，所述光譜輸出層和空間輸出層均為多層感知機。

5.根據權利要求1所述的基于深度Transformer的高光譜影像分類方法，其特征在于，所述空間輸入層用于采用主成分分析法將待分類的高光譜影像進行降維處理。

6.根據權利要求5所述的基于深度Transformer的高光譜影像分類方法，其特征在于，采用主成分分析法時，提取前3個主成分波段。

7.根據權利要求1所述的基于深度Transformer的高光譜影像分類方法，其特征在于，所述光譜位置編碼層和所述空間位置編碼層采用如下公式以相應分別對光譜特征向量和空間特征向量進行位置編碼：

其中，PE表示光譜位置編碼層或者空間位置編碼層的輸出，pos表示特征向量在整個序列中的位置，d_model表示特征向量的維度，i表示特征向量的位置。

8.根據權利要求1～7任一項所述的基于深度Transformer的高光譜影像分類方法，其特征在于，所述光譜卷積層和所述空間卷積層均為二維卷積層。