[發(fā)明專利]基于自注意力和深度卷積并行的高光譜重建方法

在審

• 申請?zhí)枺?/td>: 202310926894.6
• 申請日: 2023-07-27
• 公開（公告）號: CN116665063A
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計）人: 黃凱宣;黃俊茹;孫玉寶
• 申請（專利權(quán)）人: 南京信息工程大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/40;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標代理有限公司 32200
• 代理人: 朱小兵

1.基于自注意力和深度卷積并行的高光譜重建方法，其特征在于，包括如下步驟：

S1、編碼階段：對原始高光譜圖像壓縮采樣得到的二維測量值Y進行反轉(zhuǎn)色散，將該二維測量Y值向后偏移，獲得初始化信號；

S2、解碼階段：包括：

S2-1、構(gòu)建基于transformer和CNN并行架構(gòu)的編碼器，將初始化信號輸入至該編碼器中提取特征并融合，得到特征圖；

S2-2、將特征圖輸入至瓶頸網(wǎng)絡(luò)中，進一步提取特征并融合，得到最終特征圖；

S2-3、將最終的特征圖輸入至解碼器中得到重建后的高光譜圖像。

2.根據(jù)權(quán)利要求1所述的基于自注意力和深度卷積并行的高光譜重建方法，其特征在于，步驟S1包括如下子步驟：

S101、利用CASSI光學系統(tǒng)中二維編碼孔徑M對原始高光譜圖像預(yù)設(shè)波長的HSI信號進行編碼得到?，如下式：

，

其中，表示調(diào)制后的HSIs,?表示光譜通道，⊙表示元素乘法；H代表輸入的三維HSI立方體的高，W代表輸入的三維HSI立方體的寬，代表輸入的三維HSI立方體的波長數(shù)；；

S102、然后利用CASSI光學系統(tǒng)中分散器對沿y軸剪切信號得到，如下式：，

其中，(u,?v)為定位探測器平面上的坐標系，為第n個通道的波長，表示錨定波，為第n個通道在上的空間移動偏移量；

S103、整合有通道，將壓縮為二維測量值Y，如下式：,

其中，，為CASSI光學系統(tǒng)獲取到的二維測量值；，為傳感探測器上成像過程中的二維測量噪聲；

S104、將二維測量Y值向后偏移，獲得初始化信號T，如下式：

。

3.根據(jù)權(quán)利要求1所述的基于自注意力和深度卷積并行的高光譜重建方法，其特征在于，步驟S2-1中，基于transformer和CNN并行架構(gòu)的編碼器包括3個順序連接的特征提取模塊，所述特征提取模塊為：transformer模塊連接的下采樣模塊；所述transformer模塊是基于MSAB模塊和CNN模塊并行的架構(gòu)，所述MSAB模塊是順序連接的第一Layer?Norm模塊、MSA模塊、第二Layer?Norm模塊、Mask?Attention模塊，所述CNN模塊是依次連接的三層卷積層。

4.根據(jù)權(quán)利要求3所述的基于自注意力和深度卷積并行的高光譜重建方法，其特征在于，

所述transformer模塊是基于MSAB模塊和CNN模塊并行的架構(gòu)，如下式：

,

?，

其中，MIX表示在MSAB分支和CNN分支之間實現(xiàn)特征混合的函數(shù)，表示Layer?Norm層，為輸入到transformer模塊的特征信息，為MSAB模塊和CNN模塊特征混合后的特征信息，F(xiàn)FN表示前饋網(wǎng)絡(luò)，它由兩個線性層組成且中間有一個GELU層，而為transformer模塊的輸出特征信息。

5.根據(jù)權(quán)利要求3所述的基于自注意力和深度卷積并行的高光譜重建方法，其特征在于，所述CNN模塊是依次連接的三層卷積層具體為：第一層卷積卷積核大小為1×1，激活函數(shù)為GELU；第二層卷積卷積核大小為5×5，激活函數(shù)為GELU；第三層卷積卷積核大小為1×1，激活函數(shù)為GELU。