[發明專利]一種基于端到端神經網絡的高光譜圖像顯著圖生成方法

在審

• 申請號: 202110593767.X
• 申請日: 2021-05-28
• 公開（公告）號: CN113327304A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 許廷發;黃晨;徐暢;樊阿馨
• 申請（專利權）人: 北京理工大學重慶創新中心;北京理工大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04;G06N3/08;G06T5/50;G06T9/00
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 陽佑虹

1.一種基于端到端神經網絡的高光譜圖像顯著圖生成方法,其特征在于，方法包括如下步驟：

步驟S1：圖像預處理，對初始高光譜圖像進行預處理，得到處理后的圖像數據輸入端到端的神經網絡中；

步驟S2：深層空譜特征的提取，構建端到端的神經網絡模型，將經過預處理得到的高光譜圖像數據輸入到所述神經網絡模型中，提取空間特征和光譜特征并將兩種特征進行融合，進行結果預測并將預測結果融合獲得最終的預測顯著圖；

步驟S3：神經網絡模型的訓練，構建的訓練數據集，對高光譜圖像數據進行數據擴充，并輸入到網絡模型中，利用損失函數計算預測顯著圖與真值顯著圖的損失，優化參數訓練神經網絡。

2.根據權利要求1所述的基于端到端神經網絡的高光譜圖像顯著圖生成方法，其特征在于，步驟S1中，所述圖像的預處理為計算采樣得到的初始高光譜圖像數據的均值和方差，并歸一化，得到處理后的高光譜數據。

3.根據權利要求1所述的基于端到端神經網絡的高光譜圖像顯著圖生成方法，其特征在于，步驟S2中，所述端到端神經網絡模型包括空間編碼模塊、光譜編碼模塊、解碼模塊以及結果預測模塊，所述空間編碼模塊和所述光譜編碼模塊分別與所述解碼模塊連接，所述空間編碼模塊用于編碼空間特征，所述光譜編碼模塊用于編碼光譜特征，所述解碼模塊用于融合輸入的空間特征和光譜特征輸出預測顯著圖，并輸入到所述結果預測模塊中。

4.根據權利要求4所述的基于端到端神經網絡的高光譜圖像顯著圖生成方法，其特征在于，所述空間編碼模塊與所述解碼模塊中卷積塊的各卷積層結構相同，各卷積層均包括conv3×3卷積、批歸一化層bn和激活函數relu，上層卷積層之間通過下采樣層downsample連接，下層卷積層之間通過上采樣層upsample連接，所述卷積塊整體構成U型結構。

5.根據權利要求5所述的基于端到端神經網絡的高光譜圖像顯著圖生成方法，其特征在于，所述空間編碼模塊包括6個卷積塊，所述卷積塊的深度L分別為7、6、5、4、4和4，所述卷積塊之間通過最大池化層maxpool連接；

所述解碼模塊包括5個卷積塊，所述卷積快的深度L分別為7、6、5、4和4，所述卷積塊之間通過上采樣層upsample或最大池化層maxpool連接。

6.根據權利要求4所述的基于端到端神經網絡的高光譜圖像顯著圖生成方法，其特征在于，所述光譜編碼模塊包括6個卷積塊，所述卷積塊深度均為4，所述卷積塊之間通過平均池化層avgpool連接。

7.根據權利要求8所述的基于端到端神經網絡的高光譜圖像顯著圖生成方法，其特征在于，所述光譜編碼模塊中卷積塊的各卷積層均包括conv1×1卷積和批歸一化層，所述卷積塊中各卷積層之間通過激活函數relu進行輸入端和輸出端的連接，所述卷積塊整體構成U型結構。

8.根據權利要求4所述的基于端到端神經網絡的高光譜圖像顯著圖生成方法，其特征在于，所述結果預測模塊分別通過conv3×3卷積和激活函數sigmoid接收所述解碼模塊中各卷積塊的輸出，得到預測顯著圖，并將所述預測顯著圖通過conv1×1卷積和激活函數sigmoid進行融合輸出最終的預測顯著圖。

9.根據權利要求1所述的基于端到端神經網絡的高光譜圖像顯著圖生成方法，其特征在于，步驟S3中，進行神經網絡訓練的數據集的高光譜圖像尺寸為1024*768，對訓練集數據采用50％概率的水平翻轉或25％概率的下采樣進行數據擴充，得到尺寸為512*384的高光譜圖像作為輸入的訓練集。

10.根據權利要求1所述的基于端到端神經網絡的高光譜圖像顯著圖生成方法，步驟S3中，所述損失函數采用二分類交叉熵損失函數，所述神經網絡的訓練根據計算得到的損失，通過反向傳播算法對模型參數進行優化。